텐센트 훈위안, 새로운 희소 어텐션 알고리즘으로 AI 컴퓨팅 전력 75% 절감

텐센트 홀딩스의 훈위안 AI 팀이 75% 적은 컴퓨팅 전력을 사용하면서도 고밀도 어텐션 수준의 정확도를 구현하는 희소 어텐션 알고리즘을 개발했다. 이로 인해 장기 컨텍스트 추론 비용이 연간 수백만 달러 절감될 수 있을 것으로 기대된다.

텐센트 훈위안 연구팀은 알고리즘을 상세히 설명한 기술 논문에서 "Stem은 이전 접근 방식들이 간과했던 인과적 정보 흐름의 관점에서 블록 수준의 희소성을 재검토한다"고 밝혔다.

이 알고리즘은 두 가지 혁신을 도입했다. 시퀀스 내 거리에 따라 토큰에 가중치를 부여하는 토큰 위치 감쇠와 최종 출력에 대한 기여도에 따라 어텐션 블록을 선택하는 출력 인식 메트릭이다. 연구팀은 연산자 수준에서 오픈소스화된 HPC Stem+BSA 연산자가 12만8000 토큰 컨텍스트 윈도우에서 첫 토큰 지연 시간을 3.7배 단축했다고 보고했다.

약 20배의 선행 주가수익비율로 거래되고 있는 텐센트는 알리바바 그룹의 Qwen, 바이두의 어니, 그리고 딥시크와 경쟁하기 위해 훈위안 모델에 막대한 투자를 지속해왔다. 추론 비용 절감은 텐센트의 클라우드 사업 마진을 개선하고, 월간 활성 이용자 13억 명 이상을 보유한 위챗 전반에 더 저렴한 AI 기능을 가능하게 할 수 있다.

경쟁 구도 격화

이러한 효율성 개선은 중국 AI 모델 경쟁이 비용 절감 국면에 접어든 시점에 나왔다. 2024년 말 출시된 딥시크의 V3 모델은 선도적인 미국 모델의 훈련 비용의 극히 일부만으로도 경쟁력 있는 성능이 가능함을 입증했다. 텐센트의 Stem 알고리즘은 배포된 애플리케이션의 전체 AI 워크로드 비용 중 60~80%를 차지하는 추론 측면, 즉 모델을 운영하는 데 드는 반복 비용을 목표로 한다.

알리바바의 Qwen 팀도 희소 어텐션 연구를 발표했으며, 바이두는 장기 컨텍스트 작업에 맞춰 어니 모델을 최적화했다. 텐센트가 HPC Stem+BSA 연산자를 오픈소스로 공개하기로 한 결정은 독자적인 접근 방식으로, 개발자들이 독점 라이선스 없이도 효율성 개선 효과를 통합할 수 있게 한다.

3.7배 지연 시간 단축의 의미

12만8000 토큰 컨텍스트에서 첫 토큰 지연 시간을 3.7배 줄인다는 것은 실시간 애플리케이션에 중요한 의미를 갖는다. 긴 고객 서비스 대화를 처리하는 위챗 AI 에이전트의 경우, 응답이 수십 초가 아닌 수 초 내에 시작된다는 것을 의미한다. 씨티 애널리스트들은 자료에서 퉁청여행 홀딩스가 텐센트의 위챗 AI 에이전트와의 긴밀한 협력 가능성으로 혜택을 볼 수 있다며 동종목에 대한 매수 의견을 재확인했다.

12만8000 토큰 컨텍스트 윈도우는 주요 모델들이 제공하는 수준과 비슷하다. 오픈AI의 GPT-4 Turbo는 12만8000 토큰을 지원하며, 앤트로픽의 Claude 3.5는 20만 토큰을 지원한다. 텐센트의 알고리즘은 표준 고밀도 어텐션에서 추론 비용이 시퀀스 길이에 따라 제곱으로 증가하는 장기 컨텍스트 부문에서 훈위안에 비용 우위를 제공할 수 있다.

투자 시사점

텐센트의 경우 비용 절감 효과는 AI 영역 전반에 걸쳐 누적된다. 회사는 2024 회계연도에 533억 위안(74억 달러)의 클라우드 매출을 보고했으며, AI 관련 워크로드가 점점 더 큰 비중을 차지하고 있다. 추론 비용이 1%포인트 줄어들 때마다 텐센트가 알리바바 클라우드 및 화웨이 클라우드와 가격 경쟁을 벌이고 있는 이 사업의 마진이 개선된다.

오픈소스 전략은 또한 전략적 논리를 갖추고 있다. HPC 연산자를 공개함으로써 텐센트는 커뮤니티 기여와 생태계 채택을 얻을 수 있다. Stem 최적화 인프라를 기반으로 구축하는 개발자들은 훈위안 모델을 배포할 가능성이 더 높다. 이는 가장 널리 채택된 오픈소스 AI 제품군이 된 메타 플랫폼의 Llama 모델 시리즈 접근 방식과 유사하다.

본 문서는 정보 제공 목적으로만 작성되었으며 투자 조언을 구성하지 않습니다.