騰訊開源混元Hy4，參數規模達7700億，上下文長度100萬

騰訊混元Hy4預覽版於8月28日開源，總參數達7700億，每個token啟用490億參數，並具備100萬token的上下文視窗，規模較前一代Hy3翻倍以上，上下文長度則擴大四倍。這款混合專家（Mixture-of-Experts）模型聚焦真實世界的生產力任務——程式設計、辦公作業、遊戲開發與科學研究——而非單純追求通用基準測試分數。

「我們從三個面向擴展Hy4預覽版：模型規模、上下文長度與訓練資料，」騰訊混元團隊在模型的GitHub發布說明中表示。「更強的前期訓練與大幅擴充的後期訓練運行，疊加成為能力上的又一次階梯式躍進——這是我們量測到最大的一次世代間增益。」

Hy4預覽版採用78層結構，每層配置256個路由專家與1個共享專家，每個token啟用前八個專家。一個100億參數的原生MTP層負責投機解碼（speculative decoding）。該架構借鑒了帶有IndexCache的Gated DeepSeek Sparse Attention，實現跨層稀疏索引重用，並採用恒等超連接（identity Hyper-Connections）擴大層間資訊流動。模型以Apache License 2.0授權發布，FP8量化版本已上架Hugging Face、ModelScope、GitCode與CNB平台。

從Hy3的跳升幅度相當顯著：總參數從2950億增至7700億，活躍參數從210億增至490億，上下文長度則從256,000 tokens擴大四倍。騰訊表示，訓練資料由內部軟體工程師、遊戲開發者、金融分析師與安全專家共同建構，隨後與WorkBuddy、CodeBuddy等產品共同設計模型。在一項盲測並排評估中，163位內部專家在203項工程任務中評定Hy4預覽版略優於智譜AI的GLM 5.3（平均2.99對2.92）以及月之暗面的Kimi K3（平均2.99對2.94）。

Hy4預覽版在開源競賽中的定位

此次發布使騰訊躋身中國開源模型擁擠賽道，競爭對手包括阿里的Qwen、百度的文心與DeepSeek。騰訊表示，Hy4預覽版可從零建構Three.js 3D網站、透過單一提示詞在Unity中生成可遊玩的遊戲原型，並在一次運行中處理72份財務文件以標記重複報銷與預算超支。該模型已整合至WorkBuddy、CodeBuddy、元寶、ima、騰訊雲TokenHub與OpenRouter，前兩項產品提供兩週免費試用。

一個值得注意的特色：Hy4預覽版正參與自身的開發過程。騰訊表示，該模型協助優化訓練方法、資料策略、評估系統與底層運算子——提出解決方案、運行實驗，並將產出的程式碼與日誌回饋至下一輪開發循環。自重建基礎設施以來，混元大約每兩個月迭代一次主要版本，在正式版本發布前先推出預覽版。

對投資者的意義

開源策略強化了騰訊雲端與AI業務面對競爭對手的優勢，後者透過API存取與企業工具實現模型商業化。騰訊此前在財報中暗示，Hy4規模將大於Hy3，且實際產品回饋將驅動訓練方向。該模型整合至WorkBuddy與CodeBuddy等付費工具，為騰訊提供了將模型能力轉化為軟體營收的路徑，不過公司尚未揭露定價或每個token的推論成本。騰訊亦未揭露其並排評估的測試條件，該評估依賴自家員工而非獨立基準。

本文僅供資訊參考用途，不構成投資建議。