Thử nghiệm mô hình gemma3 trên Mac Mini M4 bản base 🥶

Xem nhiều hơn tại: https://devvui.one

Hi ae dev, Mô hình gemma3 của Google vừa ra mắt được vài hôm.

Và điều ấn tượng nhất với model này là tớ thấy bản cao nhất chỉ 27b tham số nhưng elo score của nó gần đạt được bằng model Deepseek R1 671b tham số.

Nó khá là nhẹ so với các model lớn khác và tớ đã nhanh chóng thử nghiệm xem nó "ngon" cỡ nào 😎

Gemma 3 là gì?

Gemma 3 là thế hệ tiếp theo của dòng mô hình mã nguồn mở từ Google với những nâng cấp đáng chú ý:

• Đa phương thức: Xử lý được cả text và hình ảnh (từ phiên bản 4B trở lên)
• Đa ngôn ngữ: Hỗ trợ hơn 140 ngôn ngữ (trừ phiên bản 1B chỉ hỗ trợ tiếng Anh)
• Ngữ cảnh dài: Lên đến 128K tokens (với phiên bản 4B, 12B, 27B)

Gemma 3 có 4 phiên bản: 1B, 4B, 12B và 27B

So sánh với các model khác:

Trải nghiệm thực tế

Dưới đây là các thông số tớ thử nghiệm trên Mac Mini M4 bản 16GB Ram

Chạy thử với mô hình 4B:

Chạy thử với mô hình 12B:

Chạy thử với mô hình 27B:

Cả 2 mô hình 4B và 12B đều trả ra eval rate khá ấn tượng, phù hợp để sử dung thực tế. Còn mô hình 27b thì con Mac Mini của mình có vẻ hơi đuối sức rồi 😂 Thông số Mac Mini khi đang gồng gánh bản 27B 🤪

Cài đặt Open-WebUI

Nãy giờ tớ chạy trực tiếp trên Terminal, giờ cài Open-WebUI để sử dụng model cho dễ hơn nhé 😆

Để cài được chỉ cần chạy lệnh sau, lệnh này là chạy docker trên trực tiếp với server đang chạy ollama nhé

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Sau khi cài đặt xong bạn vào localhost:3000 để vào giao diện web, sau đó chọn model bạn đã pull về và sử dụng thôi 😎

Sau khi trải nghiệm, tớ thấy Google đã làm rất tốt với phiên bản này. Đặc biệt ấn tượng là cách họ thu nhỏ kích thước mô hình nhưng vẫn duy trì (thậm chí cải thiện) hiệu suất.

Các bạn đã thử Gemma 3 chưa? Chia sẻ trải nghiệm của bạn trong phần bình luận nhé! 😊