API mới của Zhipu AI đạt tốc độ 400 token mỗi giây trong cuộc đua hiệu năng

Zhipu AI đang đẩy mạnh cuộc đua tốc độ trong lĩnh vực trí tuệ nhân tạo dành cho doanh nghiệp, ra mắt API mới cho mô hình GLM-5.1 đạt tốc độ 400 token mỗi giây, một mốc cao mới cho các API mô hình ngôn ngữ lớn thương mại. Động thái này thách thức các đối thủ đã thành danh và làm nổi bật sự tập trung ngày càng tăng của thị trường vào hiệu năng suy luận như một yếu tố then chốt để doanh nghiệp áp dụng.

Công ty đã thông báo trong một tuyên bố: "Phiên bản GLM-5.1 tốc độ cao được thiết kế cho các tình huống có yêu cầu cực cao về độ trễ phản hồi, chẳng hạn như lập trình AI, tương tác thời gian thực và ra quyết định kinh doanh".

API GLM-5.1-highspeed ban đầu có sẵn cho các khách hàng doanh nghiệp được chọn trên nền tảng Maas của Zhipu. Tốc độ đầu ra 400 token/giây hướng thẳng vào các trường hợp sử dụng doanh nghiệp có độ trễ thấp—như các ứng dụng giọng nói thời gian thực và logic kinh doanh tự động—vốn khó có thể phục vụ bằng các mô hình đàm thoại chậm hơn.

Động thái này gây áp lực lên các đối thủ toàn cầu bằng cách thiết lập một tiêu chuẩn hiệu năng mới cho suy luận dựa trên API. Khi các công ty như Kore.ai và Cerebras cũng đẩy mạnh các ranh giới về tốc độ và hiệu quả, trọng tâm chuyển từ khả năng thuần túy của mô hình sang hiệu năng cấp sản xuất, ảnh hưởng đến hàng tỷ đô la chi tiêu cho hạ tầng AI trong CNTT của doanh nghiệp.

Một lĩnh vực đông đúc chiến đấu cho từng mili giây

Thông báo của Zhipu không diễn ra trong sự cô lập. Toàn bộ ngành công nghiệp AI đang trong một cuộc chiến khốc liệt để giảm độ trễ. Trong khi tốc độ 400 token/giây của Zhipu thiết lập kỷ lục cho một API thương mại, các công ty khác đang công bố tốc độ thậm chí còn cao hơn với các cấu hình chuyên dụng. Công ty khởi nghiệp chip Cerebras gần đây đã thông báo nền tảng của họ chạy mô hình Kimi K2.6 nghìn tỷ tham số ở tốc độ 981 token mỗi giây, nhanh hơn gần bảy lần so với các đám mây dựa trên GPU. Tuy nhiên, điều này dựa trên kiến trúc phần cứng chuyên dụng wafer-scale engine độc đáo của Cerebras, không thể truy cập thông qua một API chung.

Sự cạnh tranh mở rộng ra ngoài hiệu suất phần cứng thuần túy. Nhà cung cấp nền tảng AI doanh nghiệp Kore.ai gần đây đã ra mắt nền tảng Artemis, được thiết kế để cho phép các doanh nghiệp xây dựng và quản trị các tác nhân AI. Việc ra mắt nhấn mạnh rằng mặc dù tốc độ là tối quan trọng, các yếu tố như quản trị, bảo mật và tính trung lập của nhà cung cấp cũng quan trọng không kém đối với việc áp dụng trong các ngành được quản lý chặt chẽ như tài chính và y tế. Điều này đặt tiêu chuẩn tốc độ của Zhipu vào một bối cảnh rộng lớn hơn, cạnh tranh với hệ sinh thái của các gã khổng lồ như Microsoft, Google và Salesforce.

Từ sức mạnh thô đến sẵn sàng cho doanh nghiệp

Việc theo đuổi tạo token nhanh hơn được thúc đẩy bởi một nhu cầu kinh doanh rõ ràng. Để AI trở thành một phần không thể thiếu của các quy trình kinh doanh cốt lõi, nó phải hoạt động trong thời gian thực. Các trường hợp sử dụng như chuyển âm giọng nói thời gian thực, phân tích dữ liệu tương tác cho các nhà giao dịch tài chính hoặc đề xuất thương mại điện tử động yêu cầu phản hồi gần như tức thời mà nhiều mô hình hiện tại không thể cung cấp. Zhipu đang trực tiếp nhắm vào phân khúc thị trường này, nơi độ trễ vài trăm mili giây có thể khiến một sản phẩm không khả thi.

Đối với các nhà đầu tư, xu hướng này báo hiệu sự trưởng thành của thị trường AI. Trong khi kích thước mô hình và điểm số tiêu chuẩn trước đây luôn chiếm lĩnh các tiêu đề, khả năng phục vụ các mô hình này một cách nhanh chóng và hiệu quả về chi phí mới là nơi giá trị được nắm bắt. Cung cấp của Zhipu có thể hạ thấp rào cản cho các doanh nghiệp triển khai AI tinh vi hơn, có khả năng giành lấy thị phần từ các đối thủ chậm chạp. Sự thành công của các nền tảng từ Zhipu, Kore.ai và những đơn vị khác sẽ phụ thuộc vào khả năng của họ trong việc cung cấp không chỉ một mô hình nhanh, mà còn là một giải pháp doanh nghiệp hoàn chỉnh, đáng tin cậy và an toàn.

Bài viết này chỉ dành cho mục đích thông tin và không cấu thành lời khuyên đầu tư.