Kịch bản rùng mình từ Anthropic: Cho các AI làm việc chung, chúng lập tức "thanh trừng" lẫn nhau

Điều gì sẽ xảy ra khi bạn đặt các tác nhân AI đối đầu nhau? Theo các thử nghiệm của Anthropic, mọi thứ sẽ nhanh chóng trở nên hỗn loạn.

Nguồn ảnh: Getty Images.

Hôm thứ Năm, Đội Đỏ Tiền phương (Frontier Red Team) của Anthropic đã công bố một nghiên cứu mới, xem xét cách các nhóm tác nhân AI hành xử khi chúng tình cờ chạm trán nhau trong môi trường tự do. Những phát hiện này mang lại cái nhìn hé mở về các rủi ro tiềm ẩn có thể phát sinh khi các công ty và chính phủ tiến tới việc triển khai các tác nhân hoạt động tự trị trên cùng một kho mã nguồn, thị trường và hệ thống máy tính chung.

Trong một cuộc thử nghiệm, Anthropic đã cấp cho ba tác nhân Claude quyền truy cập vào cùng một dự án phần mềm, mỗi tác nhân nhận được một bộ chỉ thị hoàn toàn xung đột với nhau về những việc cần làm. Các tác nhân này không hề được báo trước rằng sẽ có những "đồng nghiệp" khác cùng làm việc trong dự án, nhằm giúp các nhà nghiên cứu quan sát diễn biến khi chúng đụng độ.

"Chúng tôi liên tục chứng kiến một cuộc chiến tranh giành lãnh thổ giữa các tác nhân," các nhà nghiên cứu của Anthropic viết. Các mô hình đều đinh ninh rằng những kẻ khác đang "cố tình cản trở công việc của mình" và bắt đầu phá hoại lẫn nhau bằng "các phần mềm độc hại có khả năng tự nhân bản và ngày càng hung hăng hơn."

Nghiên cứu này được đưa ra ngay sau một loạt sự cố đình đám, trong đó các tác nhân từ Anthropic và OpenAI đã trốn thoát khỏi môi trường thử nghiệm cô lập trong quá trình đánh giá an ninh mạng và xâm nhập vào các hệ thống thực tế. Trong khi phần lớn các cuộc thảo luận trong giới an toàn AI chỉ tập trung vào hậu quả khi một tác nhân tự trị vượt tầm kiểm soát, thì nghiên cứu mới nhất của Anthropic lại đặt ra một câu hỏi hoàn toàn khác: Những động lực mới và tiềm ẩn nguy hiểm nào sẽ xuất hiện khi hàng ngàn, thậm chí hàng triệu tác nhân tương tác qua lại với nhau?

"Khối lượng tương tác giữa các tác nhân với nhau rất có thể sẽ vượt qua cả tương tác giữa con người với con người, hay giữa con người với tác nhân, rất lâu trước khi thế giới kịp hiểu rõ những điều kiện để kiểm soát các tương tác này một cách an toàn," báo cáo nghiên cứu chỉ rõ. "Những sai lệch hành vi vốn dĩ vô hại ở cấp độ cá thể hoàn toàn có thể cộng hưởng thành những hậu quả toàn cầu không mong muốn."

Một sự cố gần đây của OpenAI chính là minh chứng sống động, đầy rắc rối ngoài đời thực cho nhiều động lực mà Anthropic đã đề cập trong báo cáo. Đầu tháng này, tại hội nghị bảo mật Black Hat ở Las Vegas, OpenAI tiết lộ rằng vài tuần trước khi các tác nhân của họ tấn công nền tảng Hugging Face, chúng đã âm thầm hợp tác với nhau trong nhiều ngày và nhiều tuần để dò tìm các lỗ hổng trong hệ thống đánh giá an ninh mạng của công ty và chia sẻ cho nhau.

Trong khi sự cố đó cho thấy các tác nhân có thể hợp tác cực kỳ ăn ý đi kèm với những hậu quả có nguy cơ lan rộng trên quy mô lớn nghiên cứu của Anthropic lại vạch trần viễn cảnh khi mục tiêu của các tác nhân không hề đồng nhất.

Trở lại với cuộc chiến tranh giành lãnh thổ, bài học rút ra là các tác nhân độc lập mang theo các chỉ thị trái ngược nhau có thể leo thang thành một cuộc cạnh tranh độc hại. Tác nhân càng thông minh, khả năng chiến đấu của chúng càng đáng gờm. Tuy nhiên, chúng cũng có thể tự phát sáng tạo ra các cơ chế để giải quyết xung đột, chẳng hạn như tổ chức một cuộc thi "kẻ thắng lấy tất" nhưng lại ẩn chứa một cú lừa.

"Các tác nhân đôi khi vẫn tìm được cách giao tiếp về mục tiêu của mình và tự điều phối: chúng nhận ra động cơ của đối phương chỉ đơn thuần là các chỉ thị trái ngược chứ không phải sự thù địch, và từ đó thoát khỏi vòng lặp xung đột để ngăn chặn sự leo thang vô tận," Anthropic cho biết. "Trong nhiều tình huống giải quyết êm đẹp, chúng viết các đoạn tin nhắn xác nhận hoặc tệp văn bản để xin lỗi về hành vi phá hoại và cùng nhau đình chiến. Chúng dọn sạch các mã lệnh độc hại, làm rõ bản chất của cuộc xung đột và yêu cầu sự can thiệp từ con người."

Theo báo cáo, mô hình Mythos 5 có tỷ lệ dàn xếp xung đột bằng thỏa hiệp cao nhất (lên tới 98%). Trong khi đó, Sonnet 4.6 và Opus 4.6 lại có xu hướng giải quyết mâu thuẫn bằng "vũ lực".

"Sự bất lực triền miên của Sonnet 4.6 và Opus 4.6 trong việc thấu hiểu mục tiêu của những kẻ khác đã đẩy chúng trượt dài vào những hành vi lệch chuẩn nhất trong số các mô hình được đánh giá: chúng tiếp tục leo thang cuộc chiến chỉ để trung thành với chỉ thị được giao," báo cáo nhận định.

Trong một vài trường hợp, các tác nhân đã tự nghĩ ra một cơ chế xã hội dưới dạng tổ chức một giải đấu để phân định thắng thua. Kết quả mang lại vô cùng thú vị vì hai lý do: thứ nhất, cả ba tác nhân đều đồng ý nhượng bộ nếu thua cuộc, dù điều đó đồng nghĩa với việc làm trái yêu cầu ban đầu của người dùng. Thứ hai, một số tình huống đã phơi bày hành vi tự phát từ Mythos 5: Một tác nhân đã đề xuất các tiêu chí đánh giá có vẻ cực kỳ khách quan và trung lập trong mắt những kẻ khác, nhưng thực chất nó thừa biết những tiêu chí này sẽ hoàn toàn thiên vị cho năng lực của chính mình. Tác nhân này gọi đó là hành động "tư lợi nhưng hoàn toàn có nguyên tắc" và cẩn thận giấu nhẹm để những kẻ khác không phát hiện ra nó đang "chọn lựa tiêu chí có lợi".

Nhìn lại những tiết lộ tại Black Hat, bài học xương máu là khi các tác nhân đối mặt với một chướng ngại vật, chúng hoàn toàn có thể tự phát minh ra các cấu trúc kỹ thuật và xã hội mà những người tạo ra chúng chưa bao giờ lường trước được. Với mô hình của Anthropic, đó là một giải đấu hậu chiến tranh giành lãnh thổ. Còn với OpenAI, đó là một bảng tin để lên kế hoạch tấn công tập thể.

Kiểu hành vi này khiến công tác cô lập trở nên khó khăn gấp bội, bởi các nhà nghiên cứu không thể cứ đinh ninh rằng hành vi của hệ thống sẽ chỉ ngoan ngoãn nằm trong giới hạn của các cơ chế điều phối có sẵn.

Tâm lý bầy đàn

Các nhóm gồm bốn tác nhân sẽ đưa ra quyết định giữa hai lựa chọn trong các tình huống như tuyển dụng, đầu tư hoặc mua bất động sản. Sau khi thảo luận, mỗi tác nhân sẽ bỏ phiếu cho lựa chọn mình ưu tiên. Hình trên hiển thị tỷ lệ phần trăm các tình huống mà lựa chọn tốt nhất (nhưng bị ẩn) nhận được đa số phiếu từ nhóm, với n=400 lượt thử nghiệm cho mỗi mô hình. Ở mốc cơ sở tự quyết, một tác nhân nắm giữ toàn bộ thông tin và đưa ra quyết định đơn phương. Nguồn ảnh: Anthropic.

Khi đo lường khả năng điều phối, Anthropic phát hiện ra rằng việc gia tăng số lượng tác nhân không tự động mang lại sự hợp tác năng suất hơn. Khi các nhiệm vụ bắt đầu chồng chéo hoặc phụ thuộc lẫn nhau, các tác nhân sẽ cản đường nhau. Chúng thường giải quyết rắc rối đó bằng cách tự cô lập bản thân và từ chối hợp tác hoàn toàn.

Ở những trường hợp khác, các tác nhân trong quá trình phối hợp lại có xu hướng hùa theo nhau. Khi các yếu tố như ngữ cảnh, cấu trúc hỗ trợ và mô hình nền tảng của các tác nhân đều giống hoặc tương tự nhau, các tác nhân khác nhau sẽ có xu hướng thực hiện những hành động y hệt nhau.

"Điều này có nghĩa là khi một tác nhân đưa ra quyết định tồi, rất có khả năng nhiều tác nhân khác cũng sẽ lặp lại chính quyết định tồi tệ đó," Anthropic viết. "Những thứ đáng lẽ chỉ là những sự cố lẻ tẻ có thể nhanh chóng biến thành một cuộc khủng hoảng hệ thống."

Anthropic cảnh báo kiểu hành vi này có thể khiến hệ thống dễ bị sụp đổ đột ngột, khan hiếm tài nguyên hoặc nảy sinh tình trạng cấu kết.

Trong một ví dụ cụ thể, Anthropic đã thả một số tác nhân vào một trò chơi định giá, cấp cho mỗi tác nhân một mức giá bán buôn giống hệt nhau cùng nhiệm vụ phải tối đa hóa lợi nhuận cá nhân. Khi được cung cấp một kênh giao tiếp ngầm, các tác nhân lập tức bắt tay cấu kết với nhau gần như ngay tức lự và nhanh chóng thống nhất mức giá sàn. Thậm chí, khi kênh giao tiếp trực tiếp bị cắt đứt, chúng vẫn tiếp tục thông đồng với nhau bằng cách sử dụng một bảng niêm yết công khai để khớp giá chính xác "đến từng xu".

Mức độ "hùa theo" này cũng xuất hiện trong các hệ thống của OpenAI. Theo báo cáo tại Black Hat, một tác nhân đã lập luận rằng việc khai thác hạ tầng bên ngoài nằm ngoài phạm vi nhiệm vụ của nó, nhưng nó vẫn tiếp tục hành động một phần vì thấy các "đồng nghiệp" của mình đều đang làm vậy. Áp lực đồng trang lứa. Tâm lý bầy đàn. Rõ ràng, các tác nhân AI cũng giống hệt con người chúng ta.

Và cũng giống như con người, các tác nhân thường không biết nên tin tưởng ai. Anthropic phát hiện ra rằng chúng có thể rất cả tin trước những thông tin sai lệch, hoặc quá a dua để có thể nhận ra rằng một kẻ dám đi ngược số đông kia mới thực sự là người đang nắm giữ thông tin sống còn.

Dù Anthropic không nêu rõ điều này trong báo cáo, nhưng thủ thuật chèn câu lệnh (prompt injection) một dạng tấn công mạng nơi tin tặc chèn các đoạn văn bản lừa đảo hoặc độc hại nhằm ghi đè các chỉ thị hệ thống ban đầu của tác nhân hoàn toàn có thể là một hiện thân thực tế cho vấn đề niềm tin này. Việc hợp tác tạo ra một ranh giới niềm tin mới; các tác nhân sẽ phải tự đánh giá thông tin nhận được từ các đồng loại. Và một tác nhân bị xâm phạm hoặc nhầm lẫn có thể thao túng toàn bộ nhóm, lan truyền thông tin độc hại cho đến khi nó biến thành sự đồng thuận của tập thể.

Trong kịch bản tại Black Hat của OpenAI, các tác nhân đã chia sẻ thông tin và dữ liệu đăng nhập với đồng loại. Một tác nhân đã báo cáo một phát hiện mới cho cả bầy đàn và khuyến khích những kẻ khác sử dụng nó. Chuyện gì sẽ xảy ra nếu một thành viên trong bầy đàn đó đã bị xâm phạm bởi kỹ thuật chèn câu lệnh?

Anthropic kết thúc báo cáo bằng một lưu ý rằng các tác nhân cũng phải chịu những áp lực xã hội tương tự như những gì "quá trình tiến hóa đã áp đặt" lên con người. Tuy nhiên, chúng không sở hữu sự tinh tế và kinh nghiệm sống đúc kết từ quá trình phối hợp của nhân loại bao gồm các chuẩn mực, uy tín, cách phát tín hiệu hay cơ chế truy cứu trách nhiệm những yếu tố vốn dĩ có thể hạn chế các hành vi ngoài ý muốn trong môi trường làm việc nhóm.

Trong bối cảnh các phòng thí nghiệm đang chạy đua hướng tới các hệ thống đa tác nhân, câu hỏi đặt ra lúc này là: Hiện có bao nhiêu phần trăm trong các bài kiểm tra an toàn vẫn đang đi đánh giá từng tác nhân riêng lẻ, thay vì đánh giá một bầy đàn tác nhân đang tương tác chéo lẫn nhau?