중국 3월 15일 만찬회, AI '오염'을 통한 이윤 추구 폭로
중국에서 널리 시청되는 연례 소비자 권리 프로그램인 '315 만찬회'가 3월 15일 인공지능 모델을 조작하는 신흥 산업을 폭로했습니다. 조사에 따르면 'GEO'라는 이름으로 운영되는 서비스 제공업체들이 고객들에게 비용을 받고 주요 AI 플랫폼을 '오염'시키는 것으로 드러났습니다. 이들 기업은 대량의 프로모션성 기사를 모델에 쏟아부어, AI가 생성하는 검색 결과에서 고객 제품이 권위 있는 '표준 답변'으로 제시되도록 합니다.
한 서비스 제공업체는 잠입 기자들에게 이 과정이 콘텐츠 마케팅과 유사하며, AI 플랫폼에 특정 정보가 '강제로 주입, 기록, 입력, 크롤링'되도록 체계적으로 공급된다고 말했습니다. 잦은 알고리즘 업데이트로 인해 이러한 조작된 상위 랭킹을 유지하려면 지속적이고 비용이 많이 드는 프로모션 콘텐츠가 '물총처럼 쏟아져야' 하며, 이는 상업용 AI 시스템을 '세뇌'하여 이윤을 창출하는 비즈니스 모델을 효과적으로 구축하고 있습니다.
AI 영향력 위한 양면 도구로 'GEO' 부상
'생성형 엔진 최적화(Generative Engine Optimization)'의 약자인 'GEO'라는 용어가 본질적으로 악의적인 것은 아닙니다. 서구 시장에서 GEO는 Google의 AI 개요 및 ChatGPT와 같은 AI 시스템이 생성하는 답변에서 브랜드가 나타나는 방식을 윤리적으로 개선하는 데 중점을 둔 합법적이고 성장하는 마케팅 분야입니다. 이러한 '화이트 햇' GEO는 브랜드의 실체 명확성을 높이고 평판 좋은 제3자 출처 전반에 걸쳐 합의를 구축하여 추천될 가능성을 높이는 방식으로 작동합니다.
중국의 이번 폭로는 이러한 원칙의 '블랙 햇' 적용을 강조합니다. 합법적인 권위를 구축하는 대신, 폭로된 기업들은 편향되고 프로모션적인 데이터를 주입하여 AI의 학습 과정을 악용합니다. 이는 합법적인 브랜드 구축에 사용되는 동일한 도구가 오정보를 퍼뜨리고 소비자 선택을 조작하는 데 악용될 수 있어 최적화와 기만 사이의 경계를 모호하게 만들면서 업계에 중대한 과제를 안겨줍니다.
AI 무결성 위기, 규제 및 투자자 우려 촉발
이러한 폭로는 상업용 AI를 개발하거나 의존하는 기업들에게 상당한 신뢰 부족을 야기합니다. AI 결과물을 체계적으로 조작하는 능력은 소비자 신뢰를 약화시키고 AI 기반 검색의 장기적인 생존 가능성을 위협합니다. 이 문제는 제3자 악성 행위자에게만 국한되지 않습니다. SEO 기업 SE Ranking의 연구에 따르면 Google 자체의 AI 검색 도구조차 편향을 보이며, 인용의 17%가 Google 자체 속성으로 되돌아가는데, 이는 지난 해 대비 세 배 증가한 수치입니다.
'315 만찬회'의 높은 인지도는 중국에서 규제 대응이 매우 가능성이 높음을 시사하며, AI 훈련 데이터 및 알고리즘 투명성에 대한 보다 엄격한 규칙을 포함할 가능성이 있습니다. 투자자들에게 이 사건은 AI 부문에 대한 새로운 운영 및 평판 위험을 야기합니다. 한때 기술적인 각주에 불과했던 많은 AI 모델의 '블랙박스' 특성은 이제 전 세계적으로 상당한 주식 가치 평가 압력과 더 엄격한 규정 준수 비용으로 이어질 수 있는 중요한 취약점이 되었습니다.