엔비디아, STX 아키텍처 공개로 AI 처리량 5배 향상
3월 16일, 엔비디아는 인공지능을 위한 스토리지 스택을 재구상하기 위한 새로운 설계인 BlueField-4 STX 참조 아키텍처를 발표했습니다. 이 모듈식 아키텍처는 클라우드 및 AI 제공업체가 정교한 AI 에이전트가 요구하는 대규모 컨텍스트 메모리를 처리할 수 있는 가속 스토리지 인프라를 배포할 수 있도록 합니다. 회사는 이 새로운 시스템이 기존 CPU 기반 스토리지보다 최대 5배의 토큰 처리량과 4배의 에너지 효율성을 제공하여 AI 추론 속도를 늦추고 값비싼 GPU 활용도를 낮출 수 있는 성능 병목 현상을 직접적으로 해결한다고 밝혔습니다.
기존 데이터센터는 대규모의 일관된 데이터세트에 대한 실시간 접근이 필요한 에이전트 AI에 필요한 응답성에서 어려움을 겪습니다. STX 아키텍처는 이러한 데이터를 가깝고 대규모로 접근 가능하게 유지하여 AI 시스템이 더 높은 속도와 응답성으로 작동할 수 있도록 합니다.
에이전트 AI는 소프트웨어가 할 수 있는 일을 재정의하고 있으며, 이에 발맞추어 그 뒤에 있는 컴퓨팅 인프라도 재구상되어야 합니다. NVIDIA STX는 스토리지 스택을 재구상하여 AI 네이티브 인프라를 위한 모듈식 기반을 제공하고, AI 팩토리가 최고의 성능으로 작동하도록 합니다.
— 젠슨 황, 엔비디아 창립자 겸 CEO.
거대 기술 기업들의 광범위한 생태계, 새로운 표준 채택
STX 아키텍처는 기술 산업 전반의 상당한 지원을 받으며 출시되었습니다. CoreWeave, Crusoe, Oracle Cloud Infrastructure (OCI), Mistral AI, Vultr를 포함한 주요 AI 연구소 및 클라우드 서비스 제공업체들은 이미 컨텍스트 메모리 스토리지 요구 사항을 위해 이 플랫폼을 채택하기로 약정했습니다. 이러한 광범위한 초기 채택은 새로운 표준이 중요한 AI 인프라 문제를 해결할 수 있는 능력에 대한 강력한 시장 신뢰를 시사합니다.
하드웨어 측면에서는 스토리지 제공업체 및 제조업체의 강력한 연합이 새로운 참조 설계를 기반으로 시스템을 구축하고 있습니다. 파트너로는 Dell Technologies, Hewlett Packard Enterprise, IBM, NetApp, Supermicro, VAST Data와 같은 업계 선두 기업들이 포함됩니다. 엔비디아는 STX 아키텍처 기반 플랫폼이 올해 하반기에 이러한 파트너로부터 제공될 것이라고 확인하며, 기업 채택을 위한 명확한 일정을 제시했습니다.
STX, 데이터센터 하드웨어에 대한 새로운 수요 창출
STX 아키텍처의 도입은 데이터센터 내에서 새로운 하드웨어 업그레이드 주기를 촉발할 것으로 예상됩니다. 이 플랫폼이 고밀도, 가속 스토리지에 중점을 두면서 새로운 서버 설계와 구성 요소가 필요하게 됩니다. 이러한 추세를 강조하듯, 제조 파트너 Compal은 이미 관련 NVIDIA HGX Rubin 플랫폼을 기반으로 BlueField-4 DPU를 통합한 고밀도 AI 서버 SG231-2-L1을 선보였습니다. 이는 하드웨어 제조업체가 차세대 AI의 증가된 전력 및 밀도 요구 사항에 대비하고 있음을 보여줍니다.
이러한 아키텍처 변화는 또한 이러한 수준의 성능을 가능하게 하는 기본 구성 요소에 대한 수요를 촉진합니다. 더 크고 빠른 컨텍스트 메모리에 대한 필요성은 고속 NAND 스토리지에 대한 수요를 직접적으로 증가시킬 것으로 예상됩니다. 범용 스토리지에서 특수화된 고성능 AI 메모리로의 전환은 진화하는 데이터센터 시장에 서비스를 제공할 위치에 있는 구성 요소 공급업체에게 중요한 기회를 창출합니다.