Senior Data Engineer (Lakehouse/ Big Data)

Tổng quan về sản phẩm và vị trí:
Consolidated Platform là nền tảng hợp nhất và liên kết dữ liệu từ nhiều sản phẩm An toàn thông tin, giám sát và quản trị hệ thống thông tin trong một tổ chức thành một thể thống nhất. Thế mạnh cốt lõi của sản phẩm là khả năng tập hợp dữ liệu và kết nối chéo giữa các nguồn vốn rời rạc - nhờ đó chuyên gia giám sát/quản trị ATTT và lãnh đạo (C-suite) vừa có bức tranh tổng quan, vừa điều tra được chi tiết mà không phải dùng quá nhiều công cụ.
Data Engineer là đội ngũ dựng lớp nền dữ liệu cho nền tảng đó: đưa dữ liệu từ nhiều nguồn ATTT rời rạc (giám sát, phát hiện xâm nhập, quản lý tài sản, quản lý lỗ hổng, threat intelligence...) về một lakehouse chung, liên kết chúng lại thành bức tranh thống nhất về tài sản, lỗ hổng và sự kiện an ninh, rồi phục vụ ngược lại cho báo cáo, phân tích và các AI Agent của sản phẩm. Danh mục nguồn dữ liệu sẽ mở rộng dần theo lộ trình sản phẩm và theo từng khách hàng, nên công việc đòi hỏi khả năng biến một nguồn dữ liệu mới thành bảng dữ liệu đạt chuẩn production trong thời gian ngắn mà chất lượng vẫn giữ được.
Mô tả công việc:
Thiết kế kiến trúc và chuẩn kỹ thuật
Thiết kế kiến trúc lakehouse end-to-end cho nhiều tenant: phân tầng dữ liệu, chiến lược partition và tổ chức bảng, data contract giữa các layer.
Chuẩn hoá khung phát triển pipeline (job template, resource profile, cơ chế đăng ký luồng, checkpoint) để thêm một nguồn mới là việc lặp lại được thay vì thiết kế lại từ đầu.
Thiết kế data model và semantic layer (định nghĩa metric, entity, lineage nhất quán) phục vụ báo cáo, phân tích và AI Agent truy vấn dữ liệu.
Chất lượng, độ tin cậy và hiệu năng
Xây hệ đo data quality chạy trên toàn tập ở mỗi lần chạy - không chỉ xác minh bằng vài case mẫu: bộ metric, ngưỡng, quality gate, alert và runbook xử lý.
Sizing tài nguyên dựa trên số đo thật (volume, skew, cardinality) thay vì thử-sai; xử lý các bài toán hiệu năng ở quy mô lớn: data skew, small file, compaction, expire snapshot, chi phí lưu trữ.
Thiết lập data governance: data catalog, lineage, phân loại dữ liệu nhạy cảm, kiểm soát truy cập theo phân quyền.
Đưa CI/CD, test tự động và chuẩn code review vào quy trình phát triển pipeline.
Dẫn dắt và phối hợp
Đánh giá và chọn công nghệ cho kiến trúc nền tảng; phối hợp Product, AI, BI, Infra để đưa dữ liệu vào sản phẩm