들어가며
이번 7월 6일부터 11일까지 서울 코엑스에서 세계 최고 권위의 머신러닝 학술대회인 ICML 2026 (International Conference on Machine Learning)이 진행되고 있습니다. 이번 행사에는 구글 리서치, 오픈AI 등 글로벌 빅테크와 스탠퍼드, MIT 등 세계 유수의 대학뿐만 아니라 국내 대표 AI 기업과 연구진까지, 무려 1만 5천 명(그 중 해외 방문객이 1만 4천 명이라고 합니다.)의 전 세계 AI 리더들이 참석하였는데요.
저는 일정상 아쉽게도 직접 참석하지는 못했는데요. 대신 학회에 다녀온 동료 연구자가 현장의 뜨거운 열기를 전해주며, 평소 제 연구 관심사인 LLM Persona와 관련된 아주 흥미로운 논문 하나를 소개해 주었습니다. 바로 'PERSONA2WEB'이라는 논문인데요, AI가 단순히 명령을 수행하는 것을 넘어 '나'라는 사람을 얼마나 잘 이해하고 맞춰줄 수 있는지에 대한 재미있는 연구라고 느꼈습니다. 점점 더 개인화된 검색으로 나아가고 있는 지금, 더더욱 필요한 연구가 아닐까 생각듭니다.
논문에 관심 있으신 분들은 https://serin-kimm.github.io/Persona2Web 여기서 확인하실 수 있습니다.
Persona2Web: Benchmarking Personalized Web Agents for Contextual Reasoning with User History(2026)
Persona2Web
Persona2Web
serin-kimm.github.io
1. 연구 배경 : "사장님, 늘 먹던 걸로 주세요"
실제 일상생활에서 우리는 다른 사람이나 인공지능에게 모든 세부 사항을 일일이 말하지 않습니다. 단골 카페에서 "늘 먹던 걸로 주세요"라고 하는 것처럼, 사람들은 시스템이 자신의 맥락을 알아서 이해해 주길 기대하죠. 진정으로 실용적인 웹 에이전트가 되려면, 이렇게 모호한 질문을 받았을 때 사용자의 이전 상황과 취향을 추론하여 정확하게 행동할 수 있어야 합니다.
2. 기존 AI의 한계
하지만 기존에 존재하던 웹 에이전트 평가 모델들은 진짜 사람의 현실적인 행동을 반영하지 못하는 뚜렷한 한계가 있었습니다. 대다수의 벤치마크가 개인화의 핵심인 '사용자 컨텍스트(선호도나 행동 패턴)' 자체를 제공하지 않았고, 실험 환경에서 에이전트에게 아주 구체적이고 완벽한 명령만 내렸기 때문에, 현실에서 흔히 발생하는 모호함을 다루지 못했습니다. 또한 에이전트가 임무에 실패했을 때 이것이 단순히 웹사이트 내비게이션(조작)을 못해서인지, 아니면 내 취향(개인화)을 파악하지 못해서인지 그 실패 원인을 구별해서 평가할 수 없었죠.
3. 그래서 이 논문에서 제안하는 아이디어는?
이 논문은 실제 오픈 웹 환경에서 '개인화된 웹 에이전트(Personalized Web Agent)'의 성능을 평가할 수 있는 최초의 벤치마크인 'PERSONA2WEB'을 제안했습니다. 구체적인 지시 없이도 사용자의 과거 기록을 바탕으로 모호한 질문의 의도를 파악하는 '명확화 후 개인화(clarify-to-personalize)' 원칙을 도입했죠. 논문의 [Figure 1]을 보면 이 차이가 아주 명확하게 드러납니다. 사용자가 "비스킷 좀 찾아서 장바구니에 담아줘(Find biscuits and add it to the cart)"라고 모호하게 지시한 상황을 가정해 보겠습니다.
- 일반 웹 에이전트: 사용자의 맥락을 모르니 타겟(Target) 웹사이트에 들어가서 무작정 '도리토스 나초 치즈' 같은 고칼로리 스낵을 담아버립니다. 건강을 챙기는 사용자라면 "전혀 나를 고려하지 않네"라고 느낄겁니다.
- 개인화된 웹 에이전트: 사용자의 과거 아마존 구매 내역(덤벨, 저당 요거트 등)과 식당 예약 리뷰("건강한 식사를 위한 완벽한 선택")를 스캔합니다. 그리고 사용자가 '건강과 피트니스'를 중시한다는 것을 추론해 내어, 유기농 그래놀라 바(MadeGood Organic Granola Bar)를 정확히 골라냅니다.
연구진은 이런 에이전트를 평가하기 위해 [Figure 2]와 같은 체계적인 파이프라인을 구축했습니다.
- 사용자 기록 (User History): 개인의 취향을 대놓고 직접적으로 알려주는 대신, 오랜 기간 쌓인 웹 브라우징 기록(검색, 방문, 구매, 예약 등)을 통해 간접적으로 취향을 유추하도록 설계했습니다.
- 모호한 질문 (Ambiguous Query): 선호하는 웹사이트나 조건 등을 의도적으로 숨긴 다양한 난이도의 질문을 만들어, 에이전트가 스스로 과거 기록을 뒤져 단서를 찾도록 만들었습니다.
- 추론 기반 평가 (Reasoning-aware Evaluation): LLM 심판(GPT-5-mini)을 도입하여 에이전트가 단순히 최종 목적지에 도달했는지가 아니라, "사용자가 평소 쓰는 예약 사이트를 제대로 검색했는가?", "출장 기록을 보고 위치(Location)를 맞게 설정했는가?" 등 추론 과정 전체를 채점표(루브릭)를 통해 세밀하게 평가했습니다.
4. 실험 결과: 뛰어난 AI 모델들의 뜻밖의 성적표
실험 결과는 꽤나 흥미로우면서도 충격적이었습니다. 현재 최고 수준의 AI 모델들도 진짜 '개인화' 앞에서는 아직 갈 길이 멀다는 것을 과학적으로 증명했거든요.
논문의 [Figure 3] 그래프를 보면 현재 AI의 한계가 시각적으로 뚜렷하게 나타납니다. 이 그래프는 질문의 모호성 수준을 Level 0(명확함)부터 Level 2(매우 모호함)까지 나누어 에이전트의 성공률(Success Rate)을 비교했습니다.
- 사용자 기록이 주어지지 않았을 때 : 모든 에이전트가 모호한 질문을 단 하나도 해결하지 못해 성공률 0%를 기록했습니다.
- 과거 기록을 쥐여주었을 때 : 질문이 아주 명확한(Level 0) 상황에서는 평균 23.8%의 성공률을 보였지만, 단서가 숨겨진 모호한 질문(Level 2)으로 갈수록 성공률이 7.8%까지 떨어졌습니다. 최고 성능을 낸 세팅에서도 성공률이 겨우 13%에 그쳤습니다. 이는 에이전트에게 힌트(과거 기록)를 줘도, 질문이 모호해지면 그 힌트 속에서 어떤 정보가 중요한지 스스로 '추론'하고 '활용'하는 능력이 턱없이 부족하다는 것을 의미합니다.
또한, 작업의 최종 성공 여부만으로는 개인화 능력을 측정할 수 없음을 밝혀냈습니다. 재미있게도, 성공률이 2%로 똑같이 저조한 모델들이라도 분석해 보면, 어떤 모델(Llama)은 내 취향은 찰떡같이 파악하지만 웹 조작을 못 해서 실패하고, 어떤 모델(Gemini)은 웹사이트 탐색은 잘하지만 정작 내 취향을 엉뚱하게 파악해서 실패한다는 점을 날카롭게 구분해 냈습니다.
5. 남은 과제와 한계점
물론 이 훌륭한 연구에도 앞으로 해결해야 할 숙제들이 남아있습니다. 가장 먼저, 이 연구는 실제 사람의 리얼 데이터가 아닌 합성된 사용자 프로필과 브라우징 기록을 사용했다는 근본적인 한계가 존재합니다. 향후 실제 개인화된 에이전트가 우리의 현실에 도입되려면 필연적으로 사용자의 실제 행동 패턴 데이터에 직접 접근해야 하므로, 데이터 보호와 동의 획득 등 예민한 프라이버시 문제가 발생할 수 있습니다. 이와 더불어 에이전트가 통제된 안전한 실험 환경이 아닌 실제 오픈 웹 환경에서 작동하기 때문에, 실행 과정 중에 유해한 콘텐츠에 무방비로 노출될 수 있는 잠재적 위험성 또한 여전히 안고 있습니다.
[인사이트] 진정한 Agentic UX 시대를 열기 위한 기술적 과제
동료 연구자의 추천으로 읽게 된 논문이지만, 평소 AI 페르소나와 Agentic UX를 연구하는 입장에서 정말 많은 인사이트를 얻을 수 있었습니다. 다들 느끼셨겠지만, 이 논문은 UX나 디자인 방법론을 다루는 연구는 아니고, 'LLM 기반 웹 에이전트의 기술적 성능(개인화 및 추론 능력)을 어떻게 제대로 평가할 것인가'에 초점을 맞춘 기술 벤치마크 논문입니다. 하지만 저는 이 논문의 결론이 현재 AI 업계가 지향하는 'Agentic UX'의 필요성 및 현재의 기술적 한계와 완벽하게 맞닿아 있다고 생각합니다.
우리가 이상적으로 그리는 Agentic UX는 사용자가 일일이 지시하지 않아도 시스템이 알아서 내 의도를 파악하고 목적을 달성해 주는 경험을 의미합니다. 이러한 Agentic UX가 현실에서 작동하려면, AI가 사용자의 단편적인 과거 기록을 바탕으로 빈칸을 채우는 능동적인 추론을 해내야만 합니다. 하지만 이 논문의 실험 결과가 시사하듯, 현재 최고의 AI 모델들조차 모호한 질문 속에서 개인화된 추론을 완벽히 수행해 내지 못하고 있습니다. 즉, 우리가 꿈꾸는 완벽한 Agentic UX를 실현하기 위해서는 이 논문이 지적한 에이전트의 '명확화 후 개인화(clarify-to-personalize)' 능력이 기술적으로 구현되어야 합니다. 서울 한복판에서 이런 전 세계적인 기술의 흐름이 논의되었다는 것이 무척 뿌듯합니다. "내 마음을 알아주는 완벽한 AI 비서"가 탄생하기 위한 중요한 첫걸음을 뗀 연구라고 생각하며, 개인적으로 UX측면에서도 인사이트를 얻을 수 있었던 연구였습니다.