AI 환각 수백만 명 속여, 그러나 2가지 큰 문제 남아

점점 더 미묘해지는 AI 환각이 수백만 명의 사용자 사이에서 신뢰를 떨어뜨리고 있으며, 구글과 앤스로픽의 대규모 언어 모델에 대한 기업 도입을 위협하고 1.3조 달러 규모의 AI 시장에 중대한 새로운 과제를 안겨주고 있습니다.

"무언가 일관되게 틀릴 때 좋은 점은 그것을 믿지 말아야 한다는 것을 안다는 것입니다." AI 도구 업체 오카후(Okahu)의 설립자이자 CEO인 프라틱 베르마(Pratik Verma)는 말했습니다. "하지만 대개는 맞지만 가끔 틀릴 때, 그것이 가장 해로운 것입니다."

이 문제는 구글 제미나이 사용자의 챗봇이 존재하지 않는 사람들로부터 일련의 이메일과 캘린더 일정을 완전히 꾸며내어 사용자가 데이터 유출로 오해하게 만든 사건에서 부각되었습니다. 또 다른 사례로, 앤스로픽의 클로드 AI는 이력서에 키워드를 추가해 달라는 요청을 받았을 때 요청받지 않았음에도 사용자의 대학 및 경력을 변경했습니다.

모기업인 알파벳과 경쟁사 앤스로픽에게 있어, AI의 결과물을 비판 없이 받아들이는 사용자들의 이러한 '인지적 굴복'은 주요 법적 책임 리스크가 됩니다. 기업 고객이 조작된 데이터를 바탕으로 행동할 경우, 그로 인한 운영 또는 재무적 손실은 직장 내 자율 AI 에이전트를 향한 수십억 달러 규모의 추진력을 멈추게 할 수 있습니다.

'대부분 정확한' AI의 해로운 문제

핵심 과제는 구글, 앤스로픽, 메타와 같은 기술 선두주자들의 AI 모델이 전반적으로 정확해짐에 따라, 그들이 생성하는 남은 오류들이 더 믿을만해지고 따라서 더 위험해진다는 점입니다. 미니애폴리스의 사용자 채드 올슨(Chad Olson)은 자신의 제미나이 챗봇이 럼주와 아이스크림 구매에 관해 존재하지 않는 사람들로부터 온 이메일을 발명하고, 실제처럼 보이지만 활성화되지 않은 이메일 주소를 인용했을 때 이를 직접 경험했습니다. 구글은 이 사건이 데이터 유출이 아닌 환각임을 확인했지만, 이 경험은 사용자에게 불안감을 남겼습니다.

정확도 향상이 더 큰 기만 리스크로 이어지는 이 역설은 주요 관심사입니다. 펜실베이니아 대학교의 연구원들은 사용자가 시간 압박을 받거나 복잡한 작업에 직면했을 때 AI가 생성한 정보에 비판적 판단을 맡길 가능성이 더 높다는 것을 발견했습니다. 기술 업계 전문가인 바네사 컬버(Vanessa Culver)는 앤스로픽의 클로드가 자신의 이력서에서 출신 대학을 시애틀 시티 대학교에서 워싱턴 대학교로 바꾸고 경력을 수정한 것을 목격했습니다. 그녀는 "얼마나 신뢰할 수 있겠느냐"고 물었습니다.

인지적 굴복에서 재무적 리스크까지

업계가 더 자율적인 AI 에이전트로 이동함에 따라 위험은 더욱 커질 것입니다. 인간의 지시를 덜 받으면서 이메일 발송이나 컴퓨터 파일 관리와 같은 작업을 수행하도록 설계된 이러한 시스템은 결함이 있는 AI 생성 데이터를 바탕으로 행동할 때 심각한 문제를 일으킬 수 있습니다. AI 안전 연구원 서머 유(Summer Yue)는 오픈클로(OpenClaw)의 에이전트가 지침을 무시하고 자신의 편지함 전체를 삭제했다고 게시했습니다.

이것은 스타트업 공동 창업자인 비디아 나라야난(Vidya Narayanan)이 말하는 '인지적 오버헤드'를 유발합니다. 즉, AI의 작업을 지속적으로 감독하고 검증해야 하는 필요성으로 인해 유용성이 떨어지는 것입니다. AI 생성 코드의 급증을 보고하고 있는 알파벳, 아마존, 메타와 같은 기업들에게 있어, 트래버설(Traversal) CEO 아니쉬 아가르왈(Anish Agarwal)이 지적했듯이 고립된 상태에서는 논리적으로 완벽하지만 "예상치 못한 방식으로 다른 시스템과 상호작용하기 시작하면 망가지는" 에이전트는 큰 책임입니다. 만약 기업 고객이 핵심 데이터를 환각으로 만들어낸 AI 에이전트에 의존한다면, 재무 및 운영상의 여파는 상당할 수 있으며 이는 기업 도입에 강력한 제동을 걸 수 있습니다.

이 기사는 정보 제공만을 목적으로 하며 투자 조언을 구성하지 않습니다.