에이전트가 검색했다는 말을 너무 쉽게 믿고 있었다

Rafael Levi의 「Your Agent's Biggest Lie: “I Searched the Web”」 발표를 보고, 웹 검색에 대한 내 사용 습관을 다시 생각하게 됐다.

요즘 에이전트를 거의 매일 쓰고 있다.

생각을 정리할 때도 쓰고, 학습할 때도 쓰고, 자료를 찾아볼 때도 쓴다. 예전에는 검색창에 직접 키워드를 넣고 문서를 하나씩 열어봤다면, 요즘은 먼저 에이전트에게 물어보는 일이 훨씬 자연스러워졌다.

그런데 Rafael Levi의 발표, 「Your Agent's Biggest Lie: “I Searched the Web”」를 보고 조금 멈칫했다.

발표의 요지는 단순했다. 에이전트가 “웹을 검색했다”고 말해도, 실제로는 제대로 검색하지 못했을 수 있다는 것이다. 사이트에 차단됐을 수도 있고, CAPTCHA를 통과하지 못했을 수도 있고, 자바스크립트로 렌더링되는 페이지를 읽지 못했을 수도 있다. 심지어 진짜 페이지가 아니라 제한 페이지나 오류 페이지를 보고도 그럴듯하게 답했을 가능성도 있다.

내용 자체가 완전히 낯선 이야기는 아니었다. 하지만 이상하게 오래 남았다.

왜냐하면 나도 에이전트가 검색했다고 하면 너무 쉽게 믿고 있었기 때문이다.

나는 답은 의심했지만, 검색 과정은 덜 의심했다

에이전트의 답변을 아무 생각 없이 믿지는 않는다고 생각했다.

답이 너무 이상하면 다시 물어보고, 내 생각과 다르면 비교해보고, 논리가 어색하면 의심했다. 특히 내가 아는 주제에서 말이 엇나가면 금방 알아차릴 수 있었다.

그런데 가만히 생각해보니 내가 의심했던 것은 주로 “답변의 내용”이었다.

이 답이 말이 되는지, 논리적으로 이상하지 않은지, 내가 알고 있는 것과 크게 어긋나지 않는지를 봤다. 반면 그 답변이 어떤 웹페이지를 실제로 보고 나온 것인지는 별로 신경 쓰지 않았다.

에이전트가 “찾아보니 그렇다”고 말하면, 나는 그 말을 꽤 쉽게 받아들였다. 내 생각에 의문이 갈 정도로 많이 엇나간 답이 아니라면, 그냥 통과시켰던 것 같다.

이 지점이 조금 찔렸다.

나는 에이전트가 낸 결론은 검토하면서도, 그 결론까지 가는 길은 거의 검토하지 않았다.

검색했다는 말은 생각보다 넓은 말이었다

사람이 “검색했다”고 말하면 보통 어떤 장면이 떠오른다.

검색어를 넣고, 결과를 보고, 페이지를 열고, 내용을 읽고, 필요한 부분을 확인하는 장면이다. 검색했다는 말 안에는 어느 정도 실제 확인의 이미지가 들어 있다.

그런데 에이전트의 “검색했다”는 말은 내가 생각한 것보다 더 불안정할 수 있다.

도구가 웹 요청을 보냈다는 뜻일 수도 있고, 검색 결과 일부만 봤다는 뜻일 수도 있고, 페이지에 접근하려 했지만 막혔다는 뜻일 수도 있다. 혹은 페이지를 열긴 했지만 실제 본문이 아니라 로그인 안내나 차단 화면만 읽었을 수도 있다.

문제는 사용자인 내가 그 차이를 잘 모른다는 점이다.

에이전트는 자연스럽게 말한다. 말투는 확신 있어 보이고, 답변은 정리되어 있고, 출처가 있는 것처럼 보인다. 그래서 나는 쉽게 “아, 찾아봤구나”라고 받아들인다.

하지만 “검색을 시도했다”와 “실제 페이지를 읽고 확인했다”는 꽤 다른 말이다.

이 차이를 내가 너무 흐리게 보고 있었다.

사고가 난 적은 없지만, 그래서 더 위험할 수 있다

기억나는 큰 실패 사례가 있는 것은 아니다.

에이전트가 완전히 틀린 최신 정보를 줬고, 내가 그걸 믿고 큰 문제가 생겼다는 식의 경험은 아직 떠오르지 않는다. 그래서 더 쉽게 지나쳤던 것 같기도 하다.

하지만 요즘 내가 에이전트를 쓰는 방식을 생각하면, 오히려 조용히 위험해질 수 있는 부분이 보였다.

나는 생각 정리에도 에이전트를 쓴다. 학습에도 쓴다. 자료를 찾아볼 때도 쓴다. 어떤 개념을 이해하고 싶을 때, 관련 사례를 찾고 싶을 때, 최신 흐름을 알고 싶을 때도 먼저 에이전트에게 묻는다.

이 과정에서 에이전트가 참고한 사이트가 무엇인지, 그 사이트의 어느 부분을 봤는지, 실제로 열람 가능한 페이지였는지는 크게 따지지 않았다.

답변이 그럴듯하면 충분하다고 느꼈다.

하지만 학습과 생각 정리에서는 그럴듯함이 특히 위험할 수 있다. 틀린 정보 하나가 당장 장애로 터지지는 않더라도, 내 머릿속의 이해 구조를 조금씩 잘못 만들 수 있기 때문이다.

한 번 잘못 자리 잡은 이해는 나중에 다시 고치기 어렵다.

그래서 이번 발표를 보고 든 생각은 “앞으로 에이전트를 못 믿겠다”가 아니었다.

오히려 더 정확히는 “내가 에이전트를 믿는 방식이 조금 느슨했다”에 가까웠다.

웹 검색은 답변 기능이 아니라 접근 과정이다

발표에서는 Bright Data의 Web MCP를 예시로 들며, 실제 웹 접근이 얼마나 어려운지를 보여줬다. LinkedIn, Instagram, Amazon, TikTok처럼 자동화 접근이 쉽지 않은 사이트들이 데모 대상으로 나왔다.

여기서 내가 가져온 핵심은 특정 도구를 써야 한다는 결론은 아니었다.

나에게 더 크게 남은 것은 웹 검색을 “답변 생성 기능”으로 보면 안 된다는 점이었다.

웹 검색은 접근 과정이다. 페이지에 실제로 들어갈 수 있어야 하고, 렌더링된 내용을 볼 수 있어야 하고, 차단이나 오류 상태를 구분할 수 있어야 한다. 그리고 무엇보다 사용자가 그 과정을 확인할 수 있어야 한다.

에이전트가 최신 정보를 말해줄 때 중요한 것은 결과 문장만이 아니다.

어떤 URL을 열었는지, 그 페이지에서 어떤 부분을 참고했는지, 접근에 실패한 곳은 없었는지, 오래된 정보와 최신 정보를 구분했는지가 같이 중요하다.

이걸 확인하지 않으면 에이전트는 답변을 잘하는 것처럼 보일 수 있다.

하지만 실제로는 검색에 실패한 뒤, 학습 데이터나 추측으로 빈칸을 채우고 있을 수도 있다.

앞으로는 출처를 조금 더 직접 봐야겠다

그렇다고 모든 답변을 매번 수사하듯이 검증하겠다는 뜻은 아니다.

그렇게 하면 에이전트를 쓰는 장점이 사라질 것이다. 모든 정보를 직접 확인해야 한다면 그냥 내가 처음부터 검색하는 것과 크게 다르지 않을 수도 있다.

하지만 적어도 변동성이 큰 정보에서는 습관을 바꿔야겠다고 느꼈다.

최신 문서, 가격, 채용 정보, 회사 정보, SNS 반응, 전자상거래 정보처럼 계속 바뀌는 데이터는 답변만 보고 넘기면 안 될 것 같다. 에이전트가 참고한 사이트를 알려달라고 하고, 출처 URL을 직접 열어보고, 실제로 그 페이지에 답변의 근거가 있는지 한 번은 살펴볼 필요가 있다.

특히 “최신”, “현재”, “요즘”, “공식 문서 기준” 같은 말이 들어가는 질문에서는 더 그래야 할 것 같다.

앞으로는 에이전트에게 이렇게 요구해보고 싶다.

참고한 URL을 같이 알려줘.

각 URL에서 어떤 내용을 근거로 삼았는지 구분해줘.

접근하지 못한 사이트가 있으면 실패했다고 말해줘.

최신 정보가 확실하지 않으면 추측하지 말고 불확실하다고 말해줘.

아주 거창한 검증 체계는 아니지만, 적어도 “검색했다”는 말을 그대로 통과시키는 습관에서는 한 발 물러날 수 있을 것 같다.

믿지 말자는 게 아니라, 믿는 방식을 바꾸자는 것

나는 여전히 에이전트를 많이 쓸 것 같다.

생각 정리에도 쓰고, 학습에도 쓰고, 자료 조사에도 쓸 것이다. 오히려 앞으로 더 많이 쓰게 될 가능성이 크다.

다만 이번 발표를 보고 나서, 내가 에이전트를 믿는 방식은 조금 바뀌어야겠다고 느꼈다.

에이전트의 답변을 볼 때 “말이 되는가?”만 보면 부족하다.

이 답이 어디에서 왔는지, 실제 웹페이지를 보고 온 것인지, 참고한 부분이 지금도 확인 가능한지까지 봐야 한다. 특히 내가 잘 모르는 영역일수록, 답변의 그럴듯함만으로는 충분하지 않다.

에이전트를 의심한다는 건 불신하겠다는 뜻이 아니다.

내가 더 잘 쓰기 위해 확인해야 할 부분을 확인하겠다는 뜻에 가깝다.

예전에는 에이전트가 “검색했다”고 말하면 그 말을 거의 하나의 완료 상태처럼 받아들였다. 이제는 조금 다르게 봐야겠다.

검색했다는 말은 끝이 아니라 시작일 수 있다.

그다음에 봐야 할 것은 출처이고, 실제로 읽은 부분이고, 접근에 실패한 흔적이다.

나는 아마 앞으로도 에이전트의 도움을 많이 받을 것이다. 다만 이제는 답만 받는 사용자가 아니라, 그 답이 어디서 왔는지도 조금 더 같이 보는 사용자가 되고 싶다.

웹 검색에 대한 지금의 내 생각은 그 정도로 정리된다.

에이전트를 덜 믿자는 것이 아니라, 조금 더 정확하게 믿자는 것.