Startup Ấn Độ ra mắt nền tảng AI không cần GPU

Bud Runtime cho phép các tổ chức tận dụng hạ tầng phần cứng hiện có – chủ yếu là CPU – để triển khai các mô hình AI mà không cần phụ thuộc vào GPU...

Bud Ecosystem, một công ty khởi nghiệp nghiên cứu trí tuệ nhân tạo sáng tạo (GenAI) đến từ Ấn Độ, vừa công bố Bud Runtime, một giải pháp tiên phong cho phép triển khai các mô hình AI sáng tạo trên hạ tầng dựa trên CPU. Giải pháp này không chỉ giúp giảm đáng kể chi phí mà còn tăng khả năng tiếp cận công nghệ GenAI, đặc biệt cho các tổ chức không đủ nguồn lực để đầu tư vào các đơn vị xử lý đồ họa (GPU) đắt đỏ.

Giải quyết thách thức chi phí và môi trường 

Với sự bùng nổ của GenAI, chi phí tài chính và tác động môi trường của việc triển khai các mô hình AI ngày càng trở thành rào cản lớn. Các mô hình GenAI thường yêu cầu GPU chuyên dụng, vốn không chỉ đắt tiền mà còn khan hiếm do nhu cầu toàn cầu tăng cao. Bud Runtime ra đời để giải quyết vấn đề này, cho phép các tổ chức tận dụng hạ tầng phần cứng hiện có – chủ yếu là CPU – để triển khai các mô hình AI mà không cần phụ thuộc vào GPU.

Nền tảng này hỗ trợ suy luận trên CPU (CPU inference) bên cạnh các loại phần cứng khác như GPU, HPU (Habana Processing Unit), TPU (Tensor Processing Unit), và NPU (Neural Processing Unit) từ các nhà cung cấp hàng đầu như Nvidia, Intel, AMD, và Huawei. Điểm nổi bật của Bud Runtime là tính năng heterogeneous cluster parallelism, cho phép phân phối khối lượng công việc AI trên các môi trường phần cứng hỗn hợp. Điều này không chỉ giúp mở rộng quy mô dễ dàng mà còn giảm áp lực lên nguồn cung GPU khan hiếm.

Chia sẻ về quá trình phát triển, Jithin VG, Giám đốc điều hành của Bud Ecosystem, cho biết: “Chúng tôi bắt đầu hành trình GenAI vào đầu năm 2023 và nhanh chóng nhận ra chi phí cao của GPU là một rào cản lớn”.

Để vượt qua thách thức này, đội ngũ Bud Ecosystem đã xây dựng phiên bản đầu tiên của Bud Runtime, được thiết kế để chạy các mô hình AI nhỏ trên hạ tầng hiện có. Họ cũng tối ưu hóa để hỗ trợ các mô hình tầm trung trên CPU và đảm bảo khả năng tương thích với phần cứng từ nhiều nhà sản xuất, bao gồm Nvidia, AMD, Intel, và Huawei. Nhờ đó, Bud Runtime mang lại một giải pháp linh hoạt, phù hợp với nhiều loại hình tổ chức, từ startup đến viện nghiên cứu.

Một trong những lợi thế lớn nhất của Bud Runtime là chi phí triển khai thấp. Các công ty có thể bắt đầu dự án GenAI với mức chi phí chỉ từ 200 USD/tháng, thấp hơn đáng kể so với các giải pháp dựa trên GPU truyền thống. Điều này đặc biệt có ý nghĩa với các startup và tổ chức nghiên cứu, vốn thường bị loại khỏi cuộc chơi AI do chi phí cao.

Các mô hình GenAI thường yêu cầu GPU chuyên dụng, vốn không chỉ đắt tiền mà còn khan hiếm do nhu cầu toàn cầu tăng cao.

Hợp tác với các ông lớn công nghệ 

Sự ra mắt của Bud Runtime là kết quả của những nỗ lực hợp tác lâu dài giữa Bud Ecosystem và các gã khổng lồ công nghệ như Intel, Microsoft, Infosys và LTIM. Trong 18 tháng qua, Bud Ecosystem đã làm việc chặt chẽ với Intel để tối ưu hóa suy luận GenAI trên CPU Intel Xeon và bộ tăng tốc Gaudi. Sự hợp tác này không chỉ giúp nâng cao hiệu suất của Bud Runtime mà còn củng cố vị thế của công ty trong lĩnh vực AI sáng tạo.

Linson Joseph, Giám đốc chiến lược của Bud Ecosystem, cho biết công ty muốn “dân chủ hóa GenAI” trên quy mô lớn bằng cách biến AI thành hàng hóa (commoditization). “Điều này chỉ khả thi nếu chúng ta sử dụng phần cứng thông dụng để triển khai GenAI một cách rộng rãi”, Giám đốc chiến lược Linson Joseph cho biết.

Tầm nhìn của Bud Ecosystem không chỉ dừng lại ở việc giảm chi phí mà còn hướng tới việc làm cho GenAI trở nên dễ tiếp cận hơn, đặc biệt ở các thị trường đang phát triển như Ấn Độ và các khu vực có nguồn lực hạn chế.

Theo Techcrunch, được thành lập với trọng tâm là nghiên cứu AI cơ bản, Bud Ecosystem đã đạt được nhiều bước tiến đáng kể trong các lĩnh vực như Kiến trúc transformer cho môi trường tài nguyên thấp; Mô hình suy luận lai (hybrid inference models) và Hệ thống AI phân tán (decentralized AI systems).

Công ty đã công bố nhiều bài nghiên cứu và phát hành hơn 20 mô hình mã nguồn mở, đóng góp tích cực cho cộng đồng AI toàn cầu. Đáng chú ý, Bud Ecosystem là công ty khởi nghiệp Ấn Độ duy nhất từng đứng đầu bảng xếp hạng LLM của Hugging Face với một mô hình có hiệu suất ngang ngửa GPT-3.5, khẳng định năng lực cạnh tranh với các gã khổng lồ công nghệ quốc tế.

Bud Runtime không chỉ là một giải pháp kỹ thuật mà còn là một bước tiến chiến lược để định hình lại cách các tổ chức tiếp cận GenAI. Bằng cách giảm sự phụ thuộc vào GPU và tận dụng phần cứng thông dụng, Bud Ecosystem đang mở ra cơ hội cho các doanh nghiệp nhỏ, viện nghiên cứu và các thị trường mới nổi tham gia vào cuộc cách mạng AI. Với mức chi phí thấp và khả năng tương thích đa dạng, nền tảng này hứa hẹn sẽ thúc đẩy sự đổi mới trong nhiều lĩnh vực, từ chăm sóc sức khỏe, giáo dục đến tài chính và logistics.

Sự hợp tác với các đối tác lớn như Intel và Microsoft, cùng với những thành tựu nghiên cứu ấn tượng, cho thấy Bud Ecosystem không chỉ là một công ty khởi nghiệp mà còn là một nhân tố quan trọng trong hệ sinh thái GenAI toàn cầu. Techcrunch cho rằng trong bối cảnh các công nghệ AI ngày càng trở nên thiết yếu, Bud Runtime có thể trở thành một công cụ thay đổi cuộc chơi, giúp GenAI không còn là sân chơi của những gã khổng lồ mà là tài sản chung của mọi tổ chức.