Data Engineer - Từ 2 Năm Kinh Nghiệm

Xây dựng & vận hành Data Pipeline

• Xây dựng, vận hành và tối ưu các Data Pipeline thu thập dữ liệu từ nhiều nguồn như SQL Server, PostgreSQL, MySQL vào hệ thống Data Lakehouse.
• Thiết kế, phát triển và quản lý workflow/DAG trên Airflow, đảm bảo pipeline hoạt động ổn định, chính xác và hiệu quả.
• Xử lý và quản lý dữ liệu xuyên suốt các tầng Raw → Cleansed → Aggregated, đáp ứng nhu cầu khai thác dữ liệu của các phòng ban.
• Tối ưu hiệu năng lưu trữ và truy vấn dữ liệu trên các nền tảng như Dremio và ClickHouse.
• Theo dõi chất lượng dữ liệu, xây dựng cơ chế kiểm tra, cảnh báo và chủ động xử lý các sự cố liên quan đến Data Pipeline.
• Xây dựng và cập nhật các tài liệu kỹ thuật như Data Dictionary, Runbook và tài liệu vận hành nhằm đảm bảo khả năng kế thừa và mở rộng hệ thống.

Bảo mật & vận hành hạ tầng dữ liệu

• Tham gia xây dựng và triển khai cơ chế phân quyền truy cập dữ liệu theo nguyên tắc Least Privilege trên các nền tảng Lakehouse, Dremio, ClickHouse và Power BI.
• Đảm bảo an toàn cho dữ liệu nhạy cảm thông qua các giải pháp như masking, mã hóa và quản lý thông tin bảo mật (secret) theo tiêu chuẩn, hạn chế hardcode trong hệ thống.
• Phối hợp cùng đội ngũ trong việc vận hành và giám sát hạ tầng dữ liệu: dung lượng lưu trữ, tài nguyên xử lý, hiệu năng các Data Job và hệ thống log.
• Tham gia xây dựng và thực hiện các quy trình backup, retention, restore và quản lý log phục vụ nhu cầu kiểm toán và vận hành hệ thống.

Phát triển dữ liệu phục vụ Business & báo cáo

• Xây dựng và duy trì các báo cáo Power BI ở mức cơ bản, bao gồm Data Model, DAX Measure và các hình thức trực quan hóa dữ liệu phổ biến.
• Làm việc trực tiếp với các bộ phận Kinh doanh, Vận hành, Tài chính và Sản phẩm để phân tích nhu cầu, làm rõ bài toán dữ liệu và chuẩn hóa định nghĩa các chỉ số quan trọng.
• Xây dựng và cung cấp các Data Set đáng tin cậy, phục vụ hoạt động phân tích và ra quyết định của doanh nghiệp.
• Đóng vai trò kết nối giữa hệ thống dữ liệu và nhu cầu thực tế của Business, đảm bảo dữ liệu được khai thác đúng mục đích và mang lại giá trị thực tiễn.

Ứng dụng AI trong khai thác dữ liệu

• Nghiên cứu và ứng dụng các công cụ AI/LLM nhằm nâng cao hiệu quả trong quá trình phân tích và xử lý dữ liệu.
• Ứng dụng LLM để hỗ trợ sinh và kiểm tra SQL, xử lý dữ liệu phi cấu trúc như ticket hoặc phản hồi khách hàng.
• Tham gia xây dựng các công cụ AI đơn giản, hỗ trợ các phòng ban khai thác thông tin và giải đáp những câu hỏi phổ biến dựa trên dữ liệu.
• Đảm bảo các kết quả được kiểm tra và xác thực trước khi sử dụng trong báo cáo hoặc phục vụ hoạt động ra quyết định.
• Tuân thủ các quy định về bảo mật dữ liệu, đặc biệt đối với việc sử dụng dữ liệu nhạy cảm trên các công cụ và nền tảng AI bên ngoài.