10 Công cụ Platform Engineering mã nguồn mở dành cho AI/ML Workflows

Xây dựng và vận chuyển các giải pháp nhanh hơn đã trở thành chuẩn mực cho sự đổi mới ngày nay. Tuy nhiên, đối với các nhóm trí tuệ nhân tạo (AI) và học máy (ML), việc mở rộng quy trình làm việc và cung cấp giá trị với tốc độ cao đặt ra những thách thức riêng, bao gồm cơ sở hạ tầng phức tạp, quy trình thủ công và tình trạng kém hiệu quả.

Kỹ thuật nền tảng (Platform Engineering) có thể hợp lý hóa các quy trình làm việc này và tự động hóa các tác vụ lặp đi lặp lại thông qua Nền tảng dành cho nhà phát triển nội bộ (IDP), do đó cho phép các nhóm tập trung vào những gì quan trọng nhất: Cung cấp các giải pháp AI/ML có tác động.

Báo cáo Dora năm 2024 nhấn mạnh tác động đáng kể của Platform Engineering, tăng tần suất triển khai lên 60%, năng suất của lập trình viên lên 8% và hiệu suất chung của nhóm lên 10%. 10 Công cụ Platform Engineering nguồn mở trong bài viết này có thể giúp bạn đạt được kết quả tương tự trong các dự án AI/ML của mình.

1. KitOps

KitOps đơn giản hóa quy trình làm việc ML với các thành phần có thể tái sử dụng, phiên bản tập trung và đóng gói ModelKit an toàn. Nó tích hợp liền mạch với các công cụ như Docker, Terraform và Kubernetes để tự động triển khai và đẩy nhanh chu kỳ phát triển. KitOps cũng đơn giản hóa quá trình chuyển đổi Jupyter Notebooks từ phát triển sang sản xuất, như trong hình ảnh bên dưới.

Ngoài ra, KitOps cung cấp cho các kỹ sư một hồ sơ tập trung, chống giả mạo để tăng cường tính minh bạch. Nó cũng cung cấp một gói an toàn, có thể đọc để sử dụng được gọi là ModelKit để đóng gói, tạo phiên bản và theo dõi các thành phần của dự án của bạn — mã , tập dữ liệu , mô hình và siêu dữ liệu (như trong hình bên dưới).

2. Kubeflow

Kubeflow là nền tảng Kubernetes mã nguồn mở gốc giúp đơn giản hóa việc quản lý quy trình làm việc ML trên Kubernetes. Nó xử lý sự phức tạp của việc chứa container và hỗ trợ tự động hóa đường ống đầu cuối và đào tạo phân tán trên các tập dữ liệu lớn, khiến nó trở nên lý tưởng cho các hệ thống ML cấp sản xuất.

Với các tính năng theo dõi thử nghiệm và quản lý phiên bản mô hình, Kubeflow đảm bảo khả năng tái tạo, tính nhất quán và sự cộng tác giữa các nhóm ML trên cơ sở hạ tầng tại chỗ, đám mây và kết hợp.

3. Data Version Control

Data Version Control là một công cụ kiểm soát phiên bản mạnh mẽ được thiết kế riêng cho quy trình làm việc ML. Nó đảm bảo khả năng tái tạo bằng cách theo dõi và chia sẻ dữ liệu, pipeline, thử nghiệm và mô hình. Với giao diện giống Git, nó tích hợp liền mạch với các kho lưu trữ Git hiện có. Nó hỗ trợ nhiều kho lưu trữ đám mây như AWS S3 và Azure Blob, do đó cho phép tạo phiên bản cho các tập dữ liệu lớn mà không làm phình kho lưu trữ Git của bạn.

Ngoài ra DVC cũng tích hợp với quy trình CI/CD, giúp dễ dàng tự động hóa việc thử nghiệm và triển khai mô hình trong suốt vòng đời ML.

4. Seldon Core

Seldon Core giải quyết vấn đề phức tạp của Kubernetes, được hơn 40% kỹ sư báo cáo trong cuộc khảo sát gần đây của Cloud Native Computing Foundation (CNCF), bằng cách cho phép các kỹ sư ML triển khai các mô hình ở quy mô lớn mà không cần chuyên môn về Kubernetes.

Nó hỗ trợ các chiến lược triển khai nâng cao từ thử nghiệm A/B, triển khai canary và ghi nhật ký yêu cầu đến phát hiện ngoại lệ — làm cho nó trở nên lý tưởng để tối ưu hóa quy trình làm việc và đảm bảo tính linh hoạt trong triển khai.

Ngoài khả năng triển khai, Seldon Core còn cung cấp các công cụ giám sát mạnh mẽ để theo dõi hiệu suất của mô hình trong quá trình sản xuất.

5. BentoML

BentoML là một công cụ Kỹ thuật nền tảng được thiết kế để triển khai các mô hình học máy ở quy mô lớn và xây dựng các hệ thống AI cấp sản xuất bằng bất kỳ mô hình nguồn mở hoặc mô hình tinh chỉnh tùy chỉnh nào. Nó đạt được điều này bằng cách sử dụng một framework chuẩn hóa để tạo ra một gói di động có tên là Bento, gói này đóng gói các mô hình, phụ thuộc và cấu hình ở một nơi.

Phương pháp này đơn giản hóa việc quản lý mô hình, cho phép triển khai và tích hợp liền mạch trên các môi trường trong khi vẫn đảm bảo tính nhất quán khi bạn xây dựng.

6. Apache Airflow

Apache Airflow cung cấp sự đơn giản khi lập lịch, biên soạn và giám sát quy trình công việc ML bằng Python. Ưu điểm lớn nhất của công cụ này là khả năng tương thích với bất kỳ hệ thống hoặc quy trình nào bạn đang chạy. Điều này cũng loại bỏ sự can thiệp thủ công và tăng năng suất của nhóm, phù hợp với các nguyên tắc của công cụ Platform Engineering.

Ngoài việc lập lịch và quản lý quy trình công việc, Apache Airflow còn hỗ trợ nhiều công cụ và dịch vụ, do đó mở rộng khả năng tùy chỉnh của nền tảng. Tính năng này còn cho phép nhóm quản lý cơ sở hạ tầng ML hiệu quả hơn.

7. Prometheus

Prometheus xử lý mọi thứ liên quan đến cảnh báo và giám sát số liệu của bạn. Là một công cụ nền tảng giám sát nguồn mở, nó cho phép các nhà phát triển AI và kỹ sư ML có được thông tin chi tiết về Cơ sở hạ tầng của họ, tạo bảng điều khiển tùy chỉnh và giám sát quy trình làm việc ML của họ theo thời gian thực.

Nó cũng hỗ trợ các tính năng đồ thị nâng cao và tích hợp với các công cụ trực quan hóa như Grafana để diễn giải và trực quan hóa dữ liệu. Ngôn ngữ truy vấn mạnh mẽ của Prometheus cho phép cắt, chia nhỏ và thao tác dữ liệu chuỗi thời gian, với các tùy chọn tích hợp cho số liệu của bên thứ ba từ các nguồn như Docker và JMX.

8. Comet

Comet là một nền tảng ML đầu cuối được phát triển để đánh giá các mô hình ngôn ngữ lớn (LLM), theo dõi các thử nghiệm và giám sát các mô hình trong quá trình sản xuất. Nó hỗ trợ các thiết lập tự lưu trữ và dựa trên đám mây, cho phép các nhà phát triển ghi lại số liệu, đầu ra và siêu tham số theo thời gian thực.

Với bảng điều khiển và công cụ trực quan mạnh mẽ, Comet cho phép các nhóm trình bày thông tin chi tiết một cách trực quan, giúp phân tích và hiểu hiệu suất mô hình dễ dàng hơn.

Vì Comet tích hợp với nhiều công cụ khác nhau trong hệ sinh thái nên nó có khả năng thích ứng. Tính linh hoạt này giúp các lập trình viên hợp lý hóa quy trình làm việc, tối ưu hóa quy trình AI/ML và duy trì hiệu quả trong suốt vòng đời của mô hình.

9. MLFlow

MLflow cung cấp cho các lập trình viên các công cụ toàn diện để quản lý toàn bộ vòng đời ML. Bốn thành phần chính của nó — theo dõi, mô hình, dự án và sổ đăng ký mô hình — tạo điều kiện xây dựng ML pipeline hiệu quả, có thể tái tạo và có thể mở rộng.

Mỗi thành phần này đều có nhiều tính năng khác nhau (như được liệt kê bên dưới) để giảm bớt sự phức tạp của vòng đời ML.

• Tính năng theo dõi cho phép các nhà phát triển ghi lại và so sánh các thông số, kết quả và số liệu.
• Mô hình xử lý, quản lý và triển khai các mô hình.
• Mã gói dự án được sử dụng trong dự án ML để có thể tái tạo.
• Sổ đăng ký cho phép các nhà phát triển tập trung các kho lưu trữ mô hình để theo dõi vòng đời và quản lý phiên bản.

10. Feast

Không giống như các công cụ khác, Feast giải quyết một vấn đề khác: quản lý dữ liệu tính năng ML. Feast đơn giản hóa việc quản lý tính năng bằng cách lưu trữ và quản lý mã được sử dụng để tạo các tính năng học máy và tạo điều kiện triển khai các tính năng này vào sản xuất. Thông thường, nó tích hợp với các nguồn dữ liệu của bạn để hợp lý hóa việc quản lý.

Công cụ này đặc biệt quan trọng khi mô hình ML của bạn cần được đào tạo lại thường xuyên để triển khai ứng dụng.