OpenAI 的 Jalapeño 晶片宣稱推論效能較 Nvidia GB300 高出 1.9 倍

OpenAI 自研的 Jalapeño 加速器每瓦推論工作量較 Nvidia GB300 高出最多 1.9 倍，對這家晶片巨頭在 AI 資料中心的主導地位構成威脅。

OpenAI 與博通（Broadcom）合作打造的自研 Jalapeño 加速器，每瓦推論工作量較 Nvidia GB300 高出 1.5 至 1.9 倍，同時將端到端延遲降低最多 3.6 倍，對這家晶片巨頭在 AI 資料中心的掌控力構成威脅。

「Jalapeño 兼具兩全其美的優勢，」OpenAI 硬體副總裁 Richard Ho 表示，他指出 AI 系統通常在延遲與吞吐量之間必須有所取捨。這款晶片是專為推論設計的特殊應用積體電路（ASIC）——即執行已訓練模型以完成任務的過程——而非通用 GPU 所處理的訓練與推論混合工作負載。

每個機架配備 128 個加速器，提供 1.7 exaFLOPS 的 4 位元運算能力、27.5 TB 的 HBM4 記憶體，以及近每秒 2 PB 的記憶體頻寬。每顆晶片在 MXFP4 格式下可達 13.4 petaFLOPS 的運算效能，由 216 GB 的 HBM4 供給資料。OpenAI 計劃於年底前小規模部署 Jalapeño，並於 2027 年擴大產能，這一時間表可能對 Nvidia 構成壓力，因為其最大客戶正積極打造自家晶片。

基準測試結果採用 SemiAnalysis 的 InferenceX 套件，分別在 GPT-OSS-120B、DeepSeek R1 和 Kimi K2.5 模型上運行，顯示 Jalapeño 的端到端延遲比 Nvidia GB200 NVL72 和 GB300 NVL72 機架的最佳紀錄低 1.7 至 3.6 倍。在超低延遲推論——也就是目前 AI 基礎設施供應商競相角逐的領域——OpenAI 表示該晶片快上 2.1 至 4.1 倍。該比較排除了推測性解碼（speculative decoding），這是一種利用小型草稿模型預測輸出的技術，OpenAI 認為這能提供更公平的對比基準。

記憶體頻寬是決定推論效能的關鍵因素，而在此方面，Jalapeño 的機架設計仰賴大型晶片內 SRAM 快取，將模型狀態與鍵值（key-value）快取保持在本地，最小化運算與記憶體之間的資料搬移。「我們設計 Jalapeño 的目標是將資料移動與通訊延遲降至最低，」該公司在部落格文章中表示。與專為單一階段調校的 Nvidia Groq LPX 機架不同，Jalapeño 同時針對運算密集的 prefill 階段與記憶體頻寬密集的解碼（decode）階段進行了優化。

OpenAI 同時運用自家模型來設計、架構並優化這款晶片，將從概念到流片（tape-out）的時間縮短至九個月，期間還包括在新模型推出時編寫自訂核心（custom kernels）。AMD 與 Nvidia 也採取了類似的內部自動化策略——AMD 上月已將其 ROCm.AI 工具開放給公眾——但 OpenAI 九個月的循環週期凸顯了這家 AI 實驗室在矽晶片迭代上的速度有多快。

競爭算力帳面上的差距十分明顯。AMD 的 MI455X 與 Nvidia 的 Rubin GPU，兩者皆預計於 2027 年初量產，均為針對訓練與推論優化的通用型零件；而 Jalapeño 只需在推論方面表現卓越即可。OpenAI 估計每個 Jalapeño 機架的耗電量僅為競爭對手 GPU 系統的 40% 至 60%，不過該公司尚未公布系統層級的功耗數據。AMD 的 Helios 機架運算能力較 OpenAI 的機架高出 1.46 至 2 倍，記憶體容量多出最多 12%，但記憶體頻寬僅有其 85%。

OpenAI 強調不會放棄 Nvidia 或 AMD，這兩家公司仍是其在訓練運算方面最重要的投資者與供應商。儘管如此，朝向自研矽晶片的轉變——繼 Google 的 TPU 與 Amazon 的 Trainium 之後——為 OpenAI 提供了一個在擴張規模時削減推論成本的槓桿。Nvidia 股價已將多年的資料中心成長納入定價，如今正面臨一個長期問題：其最大客戶是否會成為競爭對手。OpenAI 表示將持續開發第二代與第三代 Jalapeño 晶片，量產時間訂於 2027 年。

本文僅供資訊參考之用，不構成投資建議。