Data Engineer (Lakehouse/ Big Data/ Data Platform Engineer)

Tổng quan về sản phẩm và vị trí:
Consolidated Platform là nền tảng hợp nhất và liên kết dữ liệu từ nhiều sản phẩm An toàn thông tin, giám sát và quản trị hệ thống thông tin trong một tổ chức thành một thể thống nhất. Thế mạnh cốt lõi của sản phẩm là khả năng tập hợp dữ liệu và kết nối chéo giữa các nguồn vốn rời rạc - nhờ đó chuyên gia giám sát/quản trị ATTT và lãnh đạo (C-suite) vừa có bức tranh tổng quan, vừa điều tra được chi tiết mà không phải dùng quá nhiều công cụ.
Data Engineer là đội ngũ dựng lớp nền dữ liệu cho nền tảng đó: đưa dữ liệu từ nhiều nguồn ATTT rời rạc (giám sát, phát hiện xâm nhập, quản lý tài sản, quản lý lỗ hổng, threat intelligence...) về một lakehouse chung, liên kết chúng lại thành bức tranh thống nhất về tài sản, lỗ hổng và sự kiện an ninh, rồi phục vụ ngược lại cho báo cáo, phân tích và các AI Agent của sản phẩm. Danh mục nguồn dữ liệu sẽ mở rộng dần theo lộ trình sản phẩm và theo từng khách hàng, nên công việc đòi hỏi khả năng biến một nguồn dữ liệu mới thành bảng dữ liệu đạt chuẩn production trong thời gian ngắn mà chất lượng vẫn giữ được.
Mô tả công việc:
Xây dựng và mở rộng data pipeline
Viết job ingest dữ liệu từ nguồn mới (REST API, file XML/CSV/JSON, Kafka topic) về lakehouse; xử lý incremental load, checkpoint và schema thay đổi theo thời gian.
Chuẩn hoá, clean và dedup dữ liệu về một schema chung; xây logic đối sánh và hợp nhất dữ liệu giữa các nguồn, giải quyết xung đột khi các nguồn mô tả cùng một đối tượng theo cách khác nhau.
Xây serving layer cho ứng dụng và báo cáo (upsert xuống PostgreSQL/MongoDB), đảm bảo dữ liệu ra đúng hạn và khớp với snapshot của nguồn.
Viết và bảo trì DAG điều phối: dependency, retry, backfill, schedule.
Chất lượng dữ liệu và vận hành
Khai báo data expectation cho bảng mình phụ trách (schema, constraint, volume, freshness) và cài test tự động ở biên giữa các layer; xử lý alert khi dữ liệu vi phạm.
Theo dõi job, debug lỗi và các vấn đề hiệu năng thường gặp (data skew, small file, OOM); tối ưu query và cấu trúc bảng.
Viết unit test cho logic transform; theo đúng convention branch/commit, code review và CI của đội.
Phối hợp
Làm việc cùng Product, BI và AI để nắm nhu cầu sử dụng dữ liệu; mô tả dữ liệu (metadata, lineage, data dictionary) để downstream và AI Agent dùng đúng ngữ cảnh, đúng phân quyền.