Tổng quan về sản phẩm và vị trí:
Consolidated Platform là nền tảng hợp nhất và liên kết dữ liệu từ nhiều sản phẩm An toàn thông tin, giám sát và quản trị hệ thống thông tin trong một tổ chức thành một thể thống nhất. Thế mạnh cốt lõi của sản phẩm là khả năng tập hợp dữ liệu và kết nối chéo giữa các nguồn vốn rời rạc - nhờ đó chuyên gia giám sát/quản trị ATTT và lãnh đạo (C-suite) vừa có bức tranh tổng quan, vừa điều tra được chi tiết mà không phải dùng quá nhiều công cụ.
Data Engineer là đội ngũ dựng lớp nền dữ liệu cho nền tảng đó: đưa dữ liệu từ nhiều nguồn ATTT rời rạc (giám sát, phát hiện xâm nhập, quản lý tài sản, quản lý lỗ hổng, threat intelligence...) về một lakehouse chung, liên kết chúng lại thành bức tranh thống nhất về tài sản, lỗ hổng và sự kiện an ninh, rồi
phục vụ ngược lại cho báo cáo, phân tích và các AI Agent của sản phẩm. Danh mục nguồn dữ liệu sẽ mở rộng dần theo lộ trình sản phẩm và theo từng khách hàng, nên công việc đòi hỏi khả năng biến một nguồn dữ liệu mới thành bảng dữ liệu đạt chuẩn production trong thời gian ngắn mà chất lượng vẫn giữ được.
Mô tả công việc:
Thiết kế
kiến trúc và chuẩn kỹ thuật
Thiết kế kiến trúc lakehouse end-to-end cho nhiều tenant: phân tầng dữ liệu, chiến lược partition và tổ chức bảng, data contract giữa các layer.
Chuẩn hoá khung phát triển pipeline (job template, resource profile, cơ chế đăng ký luồng, checkpoint) để thêm một nguồn mới là việc lặp lại được thay vì thiết kế lại từ đầu.
Thiết kế data model và semantic layer (định nghĩa metric, entity, lineage nhất quán) phục vụ báo cáo, phân tích và AI Agent truy vấn dữ liệu.
Chất lượng, độ tin cậy và hiệu năng
Xây hệ đo data quality chạy trên toàn tập ở mỗi lần chạy - không chỉ xác minh bằng vài case mẫu: bộ metric, ngưỡng, quality gate, alert và runbook xử lý.
Sizing tài nguyên dựa trên số đo thật (volume, skew, cardinality) thay vì thử-sai; xử lý các bài toán hiệu năng ở quy mô lớn: data skew, small file, compaction, expire snapshot, chi phí lưu trữ.
Thiết lập data governance: data catalog, lineage, phân loại dữ liệu nhạy cảm, kiểm soát truy cập theo phân quyền.
Đưa CI/CD, test tự động và chuẩn code review vào quy trình phát triển pipeline.
Dẫn dắt và phối hợp
Đánh giá và chọn công nghệ cho kiến trúc nền tảng; phối hợp Product, AI, BI, Infra để đưa dữ liệu vào sản phẩm
Tối thiểu 5 năm kinh nghiệm mảng dữ liệu/phần mềm, trong đó ít nhất 2 năm thiết kế và vận hành nền tảng dữ liệu quy mô lớn trên production.
Thành thạo Spark tới mức tối ưu được: đọc physical plan, xử lý data skew, kiểm soát partition, shuffle và file size.
Đã thiết kế kiến trúc data warehouse/lakehouse: phân tầng, data modeling, CDC/incremental, versioning và schema evolution.
Kinh nghiệm vận hành orchestration ở quy mô nhiều pipeline: chuẩn hoá DAG, data SLA, backfill, quản lý dependency chéo.
Kinh nghiệm xây hệ thống data quality và observability cho pipeline (metric, alert, lineage).
Kiến thức vững về kiến trúc hệ thống: SQL/NoSQL, container/Kubernetes, message queue, object storage; kỷ luật kỹ thuật phần mềm tốt (testing, CI/CD, code review).
Có kinh nghiệm mentor và định hướng kỹ thuật cho đội.
Ưu tiên tốt nghiệp Đại học chuyên ngành: An toàn thông tin, Công nghệ thông tin, Khoa học máy tính, Toán - Tin... hoặc chuyên ngành liên quan.
Ưu tiên (Nice-to-have)
Kinh nghiệm chạy Apache Iceberg trên production: compaction, expire snapshot, migration bảng; tuning Trino/Presto.
Kinh nghiệm xây semantic layer / data model phục vụ AI Agent truy vấn (text-to-SQL, chuẩn MCP).
Kinh nghiệm triển khai data governance framework, data contract, mô hình data ownership.
Kinh nghiệm thiết kế hệ thống dữ liệu multi-tenant và xử lý dữ liệu nhạy cảm theo yêu cầu tuân thủ.
Kinh nghiệm xử lý dữ liệu real-time ở quy mô production (Kafka và stream processing).
Kiến thức tổng quan ngành ATTT.