Nvidia nhắm mục tiêu vào các nút thắt cổ chai AI với công nghệ lưu trữ nhanh hơn 5 lần

Nvidia Ra Mắt Kiến Trúc STX, Tăng Thông Lượng AI Lên 5 Lần

Vào ngày 16 tháng 3, Nvidia đã công bố kiến trúc tham chiếu BlueField-4 STX, một thiết kế mới nhằm cách mạng hóa hệ thống lưu trữ cho trí tuệ nhân tạo. Kiến trúc mô-đun này cho phép các nhà cung cấp đám mây và AI triển khai cơ sở hạ tầng lưu trữ tăng tốc có khả năng xử lý bộ nhớ ngữ cảnh khổng lồ mà các tác nhân AI tinh vi yêu cầu. Công ty tuyên bố hệ thống mới có thể cung cấp thông lượng token gấp 5 lần và hiệu quả năng lượng gấp 4 lần so với lưu trữ truyền thống dựa trên CPU, trực tiếp giải quyết các nút thắt cổ chai về hiệu suất có thể làm chậm quá trình suy luận AI và giảm mức sử dụng GPU đắt tiền.

Các trung tâm dữ liệu truyền thống gặp khó khăn với khả năng phản hồi cần thiết cho AI tác nhân, vốn yêu cầu truy cập theo thời gian thực vào các tập dữ liệu lớn, nhất quán. Kiến trúc STX giữ dữ liệu này gần và có thể truy cập ở quy mô lớn, cho phép các hệ thống AI hoạt động với tốc độ và khả năng phản hồi cao hơn.

AI tác nhân đang định nghĩa lại những gì phần mềm có thể làm — và cơ sở hạ tầng điện toán đằng sau nó phải được đổi mới để bắt kịp. NVIDIA STX đổi mới hệ thống lưu trữ, cung cấp nền tảng mô-đun cho cơ sở hạ tầng AI-native giúp các nhà máy AI hoạt động ở hiệu suất cao nhất.

— Jensen Huang, người sáng lập và CEO của NVIDIA.

Hệ sinh thái Rộng Lớn Các Gã Khổng Lồ Công Nghệ Áp Dụng Tiêu Chuẩn Mới

Kiến trúc STX đã ra mắt với sự hỗ trợ đáng kể từ khắp ngành công nghệ. Các phòng thí nghiệm AI và nhà cung cấp dịch vụ đám mây lớn, bao gồm CoreWeave, Crusoe, Oracle Cloud Infrastructure (OCI), Mistral AI và Vultr, đã cam kết áp dụng nền tảng này cho nhu cầu lưu trữ bộ nhớ ngữ cảnh của họ. Sự chấp nhận rộng rãi ban đầu này báo hiệu niềm tin thị trường mạnh mẽ vào khả năng của tiêu chuẩn mới trong việc giải quyết các thách thức cơ sở hạ tầng AI quan trọng.

Về phía phần cứng, một liên minh mạnh mẽ gồm các nhà cung cấp và nhà sản xuất lưu trữ đang xây dựng các hệ thống dựa trên các thiết kế tham chiếu mới. Các đối tác bao gồm các nhà lãnh đạo ngành như Dell Technologies, Hewlett Packard Enterprise, IBM, NetApp, Supermicro và VAST Data. Nvidia xác nhận rằng các nền tảng dựa trên kiến trúc STX sẽ có mặt từ các đối tác này vào nửa cuối năm nay, cung cấp một lộ trình rõ ràng cho việc áp dụng trong doanh nghiệp.

STX Tạo Ra Nhu Cầu Mới Cho Phần Cứng Trung Tâm Dữ Liệu

Việc giới thiệu kiến trúc STX được dự đoán sẽ kích hoạt một chu kỳ nâng cấp phần cứng mới trong các trung tâm dữ liệu. Sự nhấn mạnh của nền tảng vào lưu trữ mật độ cao, tăng tốc đòi precludes các thiết kế máy chủ và linh kiện mới. Để nhấn mạnh xu hướng này, đối tác sản xuất Compal đã giới thiệu một máy chủ AI mật độ cao, SG231-2-L1, được xây dựng trên nền tảng NVIDIA HGX Rubin liên quan, tích hợp BlueField-4 DPU. Điều này chứng tỏ rằng các nhà sản xuất phần cứng đã chuẩn bị cho các yêu cầu về điện năng và mật độ tăng lên của AI thế hệ tiếp theo.

Sự thay đổi kiến trúc này cũng thúc đẩy nhu cầu về các thành phần cơ bản cho phép mức hiệu suất này. Nhu cầu về bộ nhớ ngữ cảnh lớn hơn, nhanh hơn dự kiến sẽ trực tiếp làm tăng nhu cầu về lưu trữ NAND tốc độ cao. Việc chuyển từ lưu trữ đa năng sang bộ nhớ AI chuyên biệt, hiệu suất cao tạo ra một cơ hội đáng kể cho các nhà cung cấp linh kiện có vị thế để phục vụ thị trường trung tâm dữ liệu đang phát triển.