MiT: Lý do tại sao không nên giao quyền kiểm soát hoàn toàn cho AI agent

• AI agent đang trở thành xu hướng công nghệ mới, khác với chatbot thông thường, chúng có thể hoạt động bên ngoài cửa sổ chat, điều hướng nhiều ứng dụng để thực hiện các tác vụ phức tạp theo lệnh đơn giản từ người dùng.
• Các công ty đang liên tục công bố framework và chức năng mới cho AI agent, quảng bá công nghệ này như cách giúp cuộc sống dễ dàng hơn. Ví dụ tiêu biểu bao gồm “computer use” của Claude (Anthropic) và “general AI agent” Manus.
• Lợi ích tiềm năng của AI agent rất hấp dẫn: hỗ trợ công việc nặng nhọc, tạo bài thuyết trình, giúp người khuyết tật thực hiện tác vụ trực tuyến, điều phối hỗ trợ đồng thời cho nhiều người trong tình huống khẩn cấp.
• Nhóm nghiên cứu tại Hugging Face cảnh báo rằng việc phát triển agent có thể đang đứng trước một sai lầm nghiêm trọng: càng tự chủ, AI càng làm giảm quyền kiểm soát của con người.
• AI agent được xây dựng trên nền tảng large language models (LLMs) vốn không thể dự đoán và dễ mắc lỗi. Khi LLM tạo văn bản trong giao diện chat, lỗi chỉ giới hạn trong cuộc trò chuyện, nhưng khi hệ thống có thể hoạt động độc lập với quyền truy cập vào nhiều ứng dụng, nó có thể thực hiện các hành động ngoài ý muốn.
• Các hệ thống AI agent có thể được phân loại theo mức độ tự chủ từ thấp đến cao: từ bộ xử lý đơn giản, bộ định tuyến, công cụ gọi, agent đa bước, đến agent hoàn toàn tự chủ có thể viết và thực thi mã mới mà không cần giám sát.
• Tiền lệ lịch sử cho thấy tầm quan trọng của việc duy trì giám sát con người. Năm 1980, hệ thống máy tính báo động sai về hơn 2.000 tên lửa Xô Viết đang hướng đến Bắc Mỹ, nhưng thảm họa đã được ngăn chặn nhờ con người kiểm tra chéo giữa các hệ thống cảnh báo khác nhau.
• Hugging Face đang phát triển smolagents, một framework cung cấp môi trường an toàn và cho phép nhà phát triển xây dựng agent với tính minh bạch, đảm bảo kiểm soát con người phù hợp.
• Phát triển AI agent cần đi kèm với việc đảm bảo giám sát của con người, giới hạn phạm vi hoạt động của AI agent, và tập trung vào phúc lợi con người thay vì chỉ tăng hiệu quả.

Việc phát triển AI agent đang tạo ra cuộc cách mạng công nghệ nhưng cũng mang lại rủi ro lớn. Các chuyên gia từ Hugging Face khuyến nghị duy trì sự giám sát của con người, phát triển hệ thống nguồn mở minh bạch như smolagents, và đảm bảo AI vẫn là công cụ hỗ trợ thay vì người ra quyết định.

Nguồn: Songai.vn​ 

Nguồn: https://vnreview.vn/threads/mit-tai-sao-viec-giao-quyen-kiem-soat-hoan-toan-cho-ai-agent-la-mot-sai-lam-lon.57528/