Cách dễ nhất để triển khai LLMs cục bộ trên macOS

Như mọi người đã biết, DeepSeek gần đây đã trở nên cực kỳ phổ biến. Sau khi ra mắt, nó đã nhanh chóng đứng đầu bảng xếp hạng App Store và Google Play. Tuy nhiên, điều này đi kèm với nhiều vấn đề. Người dùng nhận thấy rằng sau khi đặt chỉ hai hoặc ba câu hỏi, họ thường xuyên nhận được thông báo "Máy chủ đang bận, vui lòng thử lại sau", điều này ảnh hưởng đáng kể đến khả năng sử dụng và gây khó chịu cho người dùng ở khắp mọi nơi.

Hiện tại, cách giải quyết hiệu quả nhất là triển khai cục bộ. Tuy nhiên, đối với một số người mới bắt đầu, việc triển khai cục bộ có thể là một quá trình cồng kềnh. Bạn có thể làm theo nhiều hướng dẫn và thử nhiều lần, nhưng vẫn không thể triển khai thành công một mô hình lớn.

Tôi muốn chia sẻ một phương pháp độc đáo, ít được biết đến mà tôi sử dụng trong công việc, cực kỳ đơn giản. Ngay cả những người mới bắt đầu hoặc những người không có kinh nghiệm lập trình cũng có thể nhanh chóng học được. Nhưng xin lưu ý rằng phương pháp này hiện chỉ áp dụng cho hệ thống macOS; người dùng Windows không gặp may.

Tình cờ, tôi phát hiện ra rằng ServBay, mà tôi thường sử dụng để phát triển, đã được cập nhật. Phiên bản mới của nó hỗ trợ Ollama. Ollama là một công cụ tập trung vào việc chạy các mô hình ngôn ngữ lớn (LLM) cục bộ. Nó hỗ trợ các mô hình AI nổi tiếng như DeepSeek-Coder, Llama, Solar, Qwen, v.v.

Vậy, bạn có hiểu ý tôi không? Điều này có nghĩa là chỉ cần cài đặt ServBay, bạn có thể kích hoạt các mô hình AI thông dụng, được đóng gói sẵn này chỉ bằng một cú nhấp chuột, và tốc độ phản hồi khá tốt.

Ban đầu, Ollama yêu cầu một quy trình phức tạp để cài đặt và khởi động dịch vụ, nhưng thông qua ServBay, chỉ cần một cú nhấp chuột để khởi động và cài đặt mô hình AI bạn cần mà không phải lo lắng về cấu hình biến môi trường. Ngay cả những người dùng bình thường không có kiến thức phát triển cũng có thể sử dụng nó chỉ với một cú nhấp chuột. Khởi động và dừng bằng một cú nhấp chuột, tải xuống mô hình nhanh đa luồng; miễn là macOS của bạn có thể xử lý được, việc chạy đồng thời nhiều mô hình AI lớn không phải là vấn đề.

Trên máy tính của tôi, tốc độ tải xuống thậm chí còn vượt quá 60MB mỗi giây, vượt qua tất cả các công cụ tương tự khác. Xem ảnh chụp màn hình để làm bằng chứng.

Bằng cách này, thông qua ServBay và Ollama, tôi có thể triển khai DeepSeek cục bộ. Nhìn xem, nó đang chạy trơn tru!

Xem! Tôi đã đạt được tự do DeepSeek với ServBay ~

Nhân tiện, Quốc hội Hoa Kỳ gần đây đã đề xuất một dự luật mới quy định việc tải xuống DeepSeek là một tội ác, có thể bị phạt tù tới 20 năm! Tuy nhiên, bằng cách triển khai cục bộ và sử dụng ngoại tuyến, liệu có ...? Ồ, xin hãy tha thứ cho trí tưởng tượng hoang dã của tôi, LOL ...