Mô hình ngôn ngữ nhỏ: Tiết kiệm chi phí và năng lượng, vẫn hiệu quả

• Mô hình ngôn ngữ lớn (LLM) hoạt động hiệu quả nhờ quy mô khổng lồ với hàng trăm tỷ tham số, giúp chúng nhận diện mẫu và kết nối tốt hơn, từ đó trở nên mạnh mẽ và chính xác hơn.
• Tuy nhiên, việc huấn luyện LLM tiêu tốn tài nguyên tính toán khổng lồ. Google đã chi khoảng 191 triệu USD để huấn luyện mô hình Gemini 1.0 Ultra của họ.
• LLM cũng tiêu thụ năng lượng đáng kể khi xử lý mỗi yêu cầu. Theo Viện Nghiên cứu Điện lực, một truy vấn đến ChatGPT tiêu thụ gấp khoảng 10 lần năng lượng so với một lần tìm kiếm Google.
• Giải pháp đang nổi lên là mô hình ngôn ngữ nhỏ (SLM) với chỉ vài tỷ tham số. IBM, Google, Microsoft và OpenAI đều đã phát hành các SLM gần đây.
• SLM không phải công cụ đa năng như LLM nhưng có thể xuất sắc trong các tác vụ cụ thể như tóm tắt cuộc hội thoại, chatbot chăm sóc sức khỏe hay thu thập dữ liệu trên thiết bị thông minh.
• Zico Kolter, nhà khoa học máy tính tại Đại học Carnegie Mellon cho biết: “Với nhiều tác vụ, mô hình với 8 tỷ tham số thực sự khá tốt.”
• SLM có thể chạy trên laptop hoặc điện thoại di động thay vì cần trung tâm dữ liệu lớn.
• Các kỹ thuật tối ưu hóa quá trình huấn luyện SLM bao gồm “knowledge distillation” (chưng cất kiến thức) – khi mô hình lớn tạo ra bộ dữ liệu chất lượng cao để huấn luyện mô hình nhỏ, giống như giáo viên truyền đạt bài học cho học sinh.
• Phương pháp “pruning” (cắt tỉa) loại bỏ các phần không cần thiết của mạng neural, lấy cảm hứng từ não người. Yann LeCun đã đề xuất rằng có thể loại bỏ đến 90% tham số trong mạng neural đã được huấn luyện mà không làm giảm hiệu quả.
• Leshem Choshen, nhà khoa học nghiên cứu tại MIT-IBM Watson AI Lab, cho biết SLM cho phép các nhà nghiên cứu thử nghiệm với rủi ro thấp hơn và lý luận của chúng có thể minh bạch hơn do có ít tham số hơn.
• Mô hình lớn, tốn kém vẫn hữu ích cho chatbot tổng quát, trình tạo hình ảnh và khám phá thuốc. Nhưng với nhiều người dùng, mô hình nhỏ, có mục tiêu cụ thể sẽ hoạt động tốt tương đương, đồng thời dễ dàng hơn cho các nhà nghiên cứu huấn luyện và xây dựng.
• Choshen kết luận: “Các mô hình hiệu quả này có thể tiết kiệm tiền bạc, thời gian và năng lực tính toán.”

Mô hình ngôn ngữ nhỏ (SLM) đang trở thành xu hướng với chỉ vài tỷ tham số, tiêu thụ năng lượng thấp hơn 10 lần so với tìm kiếm Google thông thường. IBM, Google, Microsoft và OpenAI đều đã phát hành SLM để thực hiện các tác vụ cụ thể với hiệu quả cao, có thể chạy trên thiết bị cá nhân thay vì trung tâm dữ liệu.

Nguồn: Songai.vn​ 

Nguồn: https://vnreview.vn/threads/xu-huong-mo-hinh-ngon-ngu-nho-tiet-kiem-chi-phi-nang-luong-va-van-hieu-qua-dang-kinh-ngac.59353/