[SAP C02] Aws Glue

AWS Glue

Đây là một fully-managed service được dùng để Extract, Transform, Load dữ liệu để chuẩn bị cho việc phân tích. Dịch vụ này tự động khám phá và lập hồ sơ dữ liệu thông qua Glue Data Catalog, recommend và tạo code để chuyển data hiện tại sang target schemas. Chỉ cần trỏ AWS Glue đến dữ liệu của bạn được lưu trữ trên AWS và AWS Glue sẽ khám phá dữ liệu và lưu trữ metadata liên quan (ví dụ: định nghĩa table hoặc schema) trong AWS Glue Data Catalog. AWS Glue bao gồm Data Catalog, là kho lưu trữ metadata trung tâm, một công cụ ETL có thể tự động tạo mã Scala hoặc Python và một trình lập lịch linh hoạt xử lý giải quyết sự phụ thuộc, giám sát công việc và thử lại.

Glue Crawler

Bạn có thể sử dụng Crawler để thêm bảng vào AWS Glue Data Catalog. Trình thu thập dữ liệu có thể thu thập nhiều kho dữ liệu trong một lần chạy.Sau khi hoàn tất, trình thu thập dữ liệu sẽ tạo hoặc cập nhật một hoặc nhiều bảng trong Data Catalog của bạn. Các tác vụ trích xuất, chuyển đổi và tải (ETL) mà bạn xác định trong AWS Glue sử dụng các bảng Data Catalog này làm nguồn và đích. Công việc ETL sẽ đọc và ghi vào kho dữ liệu được chỉ định trong các bảng Data Catalog nguồn và đích.

Bạn có thể chạy trình thu thập thông tin theo schedule, on-demand, hoặc trigger chúng dựa trên sự kiện để đảm bảo metadata của bạn được cập nhật.

Usecases

• Sử dụng AWS Glue để khám phá các thuộc tính của dữ liệu, chuyển đổi dữ liệu và chuẩn bị dữ liệu cho mục đích phân tích.
• Glue có thể tự động phát hiện cả dữ liệu có cấu trúc và bán cấu trúc được lưu trữ trong các hồ dữ liệu trên Amazon S3, kho dữ liệu trong Amazon Redshift và nhiều cơ sở dữ liệu khác nhau chạy trên AWS.
• Nó cung cấp chế độ xem dữ liệu thống nhất thông qua Glue Data Catalog có sẵn cho ETL, truy vấn và báo cáo bằng các dịch vụ như Amazon Athena, Amazon EMR và Amazon Redshift Spectrum.
• AWS Gluelà dịch vụ serverless, do đó không cần cấu hình và quản lý tài nguyên tính toán.
• Glue tự động tạo mã Scala hoặc Python cho các công việc ETL mà bạn có thể tùy chỉnh thêm bằng các công cụ mà bạn đã quen thuộc.