CEO SambaNova: Suy luận là chi phí lớn nhất trong AI doanh nghiệp

CEO SambaNova Rodrigo Liang cho biết suy luận đã trở thành thách thức chi phí lớn nhất trong AI doanh nghiệp, khi công ty công bố đám mây AI trị giá 3,5 tỷ USD được hỗ trợ bởi Vista Equity Partners và Cambium Capital.

Phát biểu trên chương trình Bloomberg Open Interest, Liang giải thích rằng suy luận—quá trình chạy các mô hình AI đã được huấn luyện để tạo ra đầu ra—hiện chiếm phần lớn chi phí điện toán AI cho doanh nghiệp. Ông lưu ý rằng khi các mô hình AI ngày càng lớn và được triển khai rộng rãi hơn, chi phí suy luận có thể nhanh chóng vượt qua chi phí huấn luyện. Dịch vụ đám mây mới của SambaNova sử dụng kiến trúc phân tách kết hợp GPU, CPU và bộ xử lý AI chuyên dụng, mà Liang cho biết có thể giảm đáng kể chi phí và thúc đẩy việc áp dụng các AI agent. Kiến trúc này cho phép mỗi thành phần được mở rộng độc lập, tối ưu hóa cho các nhu cầu cụ thể của khối lượng công việc suy luận thay vì áp dụng cách tiếp cận một kích cỡ phù hợp với tất cả. Đối với nhà đầu tư chứng khoán, sự phát triển này làm nổi bật sự thay đổi động lực chi phí trong chuỗi giá trị AI. Các công ty có thể giảm chi phí suy luận có thể chiếm thị phần đáng kể khi doanh nghiệp tìm cách triển khai AI ở quy mô lớn. Giá cổ phiếu trực tiếp và biểu đồ trên NowPrice cho thấy thị trường đang phản ứng thế nào với các xu hướng này, với cổ phiếu liên quan đến AI biến động gia tăng.

Trong tương lai, nhà đầu tư sẽ theo dõi tỷ lệ áp dụng nền tảng đám mây của SambaNova và các dịch vụ tương tự từ đối thủ cạnh tranh. Sự thành công của kiến trúc phân tách có thể định hình lại bối cảnh cạnh tranh cho phần cứng AI và dịch vụ đám mây, có khả năng mang lại lợi ích cho các công ty chuyên về giải pháp suy luận hiệu quả. Các chỉ số chính cần theo dõi bao gồm tăng trưởng khách hàng doanh nghiệp, điểm chuẩn chi phí mỗi lần suy luận và tốc độ triển khai AI agent trong các ngành.