Meta ra mắt Muse Glimmer: Ý nghĩa đối với cuộc tranh luận giữa AI mã nguồn mở và mã nguồn đóng

Sự ra mắt của mô hình AI mới nhất từ Meta diễn ra trong bối cảnh ngành công nghiệp công nghệ Mỹ đang ngày càng chia rẽ trước thách thức ngày một lớn từ làn sóng các mô hình AI mở trọng số (open-weight) mới của Trung Quốc.

Công ty đặt mục tiêu mở rộng cơ sở hạ tầng điện toán lên 14 gigawatt vào năm tới nhằm hỗ trợ khối lượng công việc AI đang ngày càng gia tăng. Nguồn ảnh: Reuters.

Sự trỗi dậy của các tác nhân AI (AI agent) phần lớn được thúc đẩy bởi các mô hình ngôn ngữ lớn (LLM) ngày càng ưu việt, nhưng Meta đang đặt cược rằng không phải mọi tác nhân AI đều cần đến một trung tâm dữ liệu khổng lồ đứng sau.

Vào thứ Hai, ngày 10 tháng 8, gã khổng lồ mạng xã hội đã trình làng một mô hình ngôn ngữ nhỏ (SLM) mở trọng số mới mang tên Muse Glimmer, được thiết kế để chạy cục bộ trên máy Mac hoặc PC chỉ với một GPU tiêu dùng duy nhất. Đây là một mô hình 30 tỷ tham số được tối ưu hóa cho việc triển khai các tác nhân cục bộ có khả năng tạo mã, gọi hàm và xử lý nhiều tác vụ khác.

Trọng số của mô hình này đã được phát hành theo giấy phép Apache 2.0 mở rộng và cho phép tải xuống miễn phí qua Hugging Face. Điều này tạo điều kiện cho các nhà phát triển muốn tinh chỉnh và tự lưu trữ mô hình do Meta Superintelligence Labs (MSL), đơn vị AI của công ty dưới sự dẫn dắt của Alexander Wang phát triển.

Sự ra mắt của Muse Glimmer đánh dấu sự trở lại một phần của Meta với phương pháp tiếp cận mã nguồn mở trong việc phát triển mô hình nền tảng, kể từ sau sự rời đi gây chú ý của nhà nghiên cứu AI Yann LeCun. Mặc dù ban đầu Meta từng góp phần dẫn dắt phong trào AI mã nguồn mở với chuỗi mô hình Llama được phát hành theo giấy phép tùy chỉnh, gã khổng lồ công nghệ này sau đó đã chuyển hướng sang phát triển các LLM độc quyền, mã nguồn đóng khi bị tụt lại phía sau OpenAI và Anthropic trong cuộc đua AI.

Động thái này diễn ra khi Thung lũng Silicon vẫn đang chia rẽ sâu sắc trước thách thức ngày càng lớn từ làn sóng các mô hình AI mở trọng số mới của Trung Quốc như Kimi K3 của Moonshot AI hay Qwen của Alibaba. Những mô hình này không chỉ đang thu hẹp khoảng cách về hiệu suất so với các mô hình tiên phong do Mỹ phát triển, mà còn được cho là vượt trội đáng kể về mặt tối ưu chi phí.

Trong một bài đăng trên nền tảng X, Giám đốc điều hành Mark Zuckerberg viết: "Meta là một người ủng hộ mạnh mẽ cho mã nguồn mở và tôi tự hào về những bản phát hành này."

"Các phòng thí nghiệm nước ngoài hiện đang nắm giữ một số lợi thế do các phòng thí nghiệm của Mỹ phải tuân thủ nhiều quy định hạn chế bổ sung về dữ liệu huấn luyện," Zuckerberg chia sẻ khi đề cập đến các mô hình AI mở trọng số. Ông nhận định thêm rằng chính sách của Mỹ cần phải giảm bớt những lực cản bổ sung này nếu muốn các mô hình mã nguồn mở của Mỹ tiếp tục dẫn đầu theo thời gian, đồng thời nhấn mạnh rằng việc hạn chế quyền truy cập vào các mô hình mã nguồn mở của nước ngoài không phải là một giải pháp hiệu quả.

Ảnh chụp màn hình. Nguồn ảnh: X.

Trong những tháng tới, Meta có kế hoạch tung ra một mô hình AI tiên tiến mới với tên gọi nội bộ là 'Watermelon', được cho là mạnh mẽ hơn cả Muse Spark. Tuy nhiên, vẫn chưa rõ liệu mô hình này sẽ là mã nguồn mở hay đóng.

Bên trong công nghệ của Muse Glimmer

Để phát triển một SLM mạnh mẽ có thể vượt qua những hạn chế về điện toán của phần cứng cục bộ, Meta cho biết hãng đã bắt tay vào xây dựng một mô hình với kiến trúc nhỏ gọn. Công ty đã huấn luyện Muse Glimmer dựa trên kết quả đầu ra của một mô hình "giáo viên" lớn hơn rất nhiều thông qua phương pháp chưng cất - một kỹ thuật AI/ML phổ biến nhưng đang vấp phải nhiều tranh cãi trong thời gian gần đây. Dữ liệu được sử dụng để huấn luyện Muse Glimmer là sự kết hợp giữa dữ liệu tổng hợp và dữ liệu tự nhiên trải dài trên 100 ngôn ngữ khác nhau.

Trong giai đoạn hậu huấn luyện, Meta cho biết họ đã kết hợp tinh chỉnh có giám sát với phương pháp chưng cất theo chính sách và học tăng cường trên các lĩnh vực tổng quát, suy luận, lập trình và điều hướng tác nhân. Công ty cũng cho biết thêm rằng họ đã tận dụng các kỹ thuật tối ưu hóa quá trình suy luận như lượng tử hóa nhằm đáp ứng các yêu cầu về độ trễ để mô hình có thể chạy mượt mà ngay trên thiết bị cục bộ.

Về mặt an toàn, Meta khẳng định Muse Glimmer đã được đánh giá dựa trên các tiêu chuẩn trong khuôn khổ an toàn do chính hãng thiết lập dành cho việc kiểm định các mô hình mở trọng số trước khi phát hành.

'Được thiết kế để chạy trên phần cứng tiêu dùng'

Meta tuyên bố đã áp dụng hai kỹ thuật để đảm bảo Muse Glimmer có thể hoạt động với tốc độ thực tế trên phần cứng tiêu dùng mà không phải đánh đổi bằng việc làm giảm chất lượng đầu ra của mô hình.

Trong khi một mô hình 30 tỷ tham số thông thường sẽ đòi hỏi hơn 55GB bộ nhớ, Meta đã thành công trong việc hạ mức yêu cầu bộ nhớ xuống dưới 20GB bằng cách nén trọng số mô hình xuống độ chính xác khoảng 4-bit, đồng thời vẫn đảm bảo hiệu suất xử lý các tác vụ tác nhân gần như không bị suy giảm.

Theo Meta, Muse Glimmer được cấu thành từ hai phần: mô hình chính và một "mô hình phác thảo" (drafter model) được sử dụng để xử lý toàn bộ các khối token cùng một lúc. Những token này sau đó sẽ được mô hình chính xác minh lại, cho phép hệ thống tạo ra văn bản nhanh hơn đáng kể so với phương pháp tạo từng token theo tiêu chuẩn của các mô hình ngôn ngữ khác.

Các trường hợp sử dụng cục bộ và hiệu suất của Muse Glimmer

Muse Glimmer là một SLM nền tảng được trang bị khả năng thực thi dài hạn, gọi công cụ chính xác, hiểu đa phương thức, bộ nhớ ngữ cảnh dài và tuân thủ chặt chẽ các chỉ thị. Bằng cách kết hợp những năng lực này, mô hình có thể được sử dụng để vận hành và triển khai các tác nhân AI tự trị có khả năng quản lý lịch trình, soạn thảo tin nhắn, sắp xếp tệp tin và thực hiện nhiều công việc khác.

Dựa trên hiệu suất đạt được qua hàng loạt các bài kiểm tra tiêu chuẩn, Meta khẳng định những điểm mạnh của Muse Glimmer bao gồm hoàn thành các nhiệm vụ tác nhân từ đầu đến cuối, sử dụng công cụ đáng tin cậy, suy luận đa bước, cùng khả năng tiếp nhận và suy luận đa phương thức. Mô hình này cũng được thiết kế để tương thích với các công cụ phát triển hiện có, và sẽ sớm hỗ trợ tích hợp với llama.cpp, MLX cùng ExecuTorch trong những ngày tới.

So với các mô hình có cùng quy mô, Muse Glimmer đã đánh bại mô hình Gemma 31 tỷ tham số của Google và mô hình Qwen 27 tỷ tham số của Alibaba trên toàn bộ các bài kiểm tra về khả năng tác nhân, lập trình, đa phương thức, độ an toàn và năng lực suy luận.

Để đo tốc độ trên phần cứng tiêu dùng, Meta cho biết họ đã chạy mô hình trên các thiết bị được trang bị chip Macbook M4 Max, chip M5 Max và GPU Nvidia RTX-5090. Kết quả cho thấy mô hình đủ nhanh để duy trì các cuộc trò chuyện mượt mà và tương tác tác nhân theo thời gian thực mà không cần phụ thuộc vào cơ sở hạ tầng đám mây hay kết nối mạng.