Mô tả công việc
1. Xây dựng luồng dữ liệu & Pipeline tự động
• Thiết kế và xây dựng pipeline ETL/ELT kết nối, đồng bộ dữ liệu từ nhiều nguồn (ClickHouse, PostgreSQL, API, file) sử dụng Apache Airflow và công cụ ingestion phù hợp.
• Triển khai CDC (Change Data Capture) bằng Debezium/wal2json tích hợp Apache Kafka để đồng bộ dữ liệu gần thời gian thực từ các hệ thống nguồn.
• Xây dựng pipeline tự động có cơ chế giám sát, retry, cảnh báo và đảm bảo SLA rõ ràng; xử lý lỗi và đảm bảo tính toàn vẹn dữ liệu end-to-end.
• Xử lý dữ liệu lớn với Apache Spark; tối ưu hiệu năng job, partition tuning và throughput của toàn bộ pipeline.
2. Xây dựng Data Warehouse & mô hình dữ liệu
• Thiết kế và xây dựng Data Warehouse theo
kiến trúc Medallion (Bronze/Silver/Gold) hoặc star/snowflake schema
phục vụ nhu cầu phân tích nghiệp vụ.
• Viết transformation logic bằng dbt (models, tests, macros, lineage doc) và tối ưu hiệu năng truy vấn trên ClickHouse (partition, index, materialized views).
• Đảm bảo tính nhất quán, toàn vẹn và khả năng mở rộng của mô hình dữ liệu trong dài hạn.
3. Triển khai BI & trực quan hóa dữ liệu
• Triển khai và quản trị Apache Superset hoặc BI tool mã nguồn mở tương đương: kết nối data warehouse, xây dựng semantic layer, dashboard thống kê vận hành.
• Thiết lập phân quyền truy cập dữ liệu (row-level security) và hướng dẫn người dùng nghiệp vụ khai thác BI tool.
• Phối hợp với
Data Analyst và các bộ phận nghiệp vụ để xác định yêu cầu báo cáo và chuẩn hóa KPI, business metrics.
4. Kiến trúc, vận hành & hỗ trợ kỹ thuật
• Đề xuất kiến trúc data platform tổng thể, lựa chọn công nghệ phù hợp và lập kế hoạch triển khai rõ ràng.
• Thiết lập môi trường và quy trình vận hành: Docker, CI/CD, version control (Git), viết tài liệu kỹ thuật đầy đủ.
• Phối hợp với Backend, DevOps, Data Analyst và Business; hỗ trợ và hướng dẫn kỹ thuật cho các thành viên trong nhóm khi cần.
Yêu cầu
Kinh nghiệm & Học vấn
• Tối thiểu 3 năm kinh nghiệm thực tế tại vị trí Data Engineer hoặc tương đương trong môi trường production.
• Đã thiết kế và triển khai end-to-end data platform hoặc data warehouse thực tế (không chỉ dự án học thuật).
• Tốt nghiệp Đại học chuyên ngành Công nghệ Thông tin, Khoa học Máy tính, Toán - Tin, Hệ thống Thông tin hoặc tương đương.
Kỹ năng kỹ thuật - Bắt buộc
• Thành thạo Python (Pandas, NumPy, PySpark) và SQL nâng cao (window functions, CTE, query optimization, explain plan).
• Kinh nghiệm xây dựng và vận hành DAG production với Apache Airflow: dependency, retry, alerting, scheduling.
• Kinh nghiệm triển khai CDC (Debezium, wal2json, binlog) và vận hành Apache Kafka: topic, partition, consumer group.
• Kinh nghiệm xử lý dữ liệu lớn với Apache Spark/PySpark; hiểu execution model và tối ưu Spark job.
• Thành thạo dbt: viết models, tests, macros, seeds; lineage documentation; tích hợp CI/CD.
• Kinh nghiệm vận hành ClickHouse production: partition key, index, materialized views, sharding, tối ưu truy vấn OLAP.
• Kinh nghiệm vận hành PostgreSQL: indexing, WAL, replication, vacuum, query tuning, CDC từ PostgreSQL.
• Thành thạo Git; sử dụng Docker và CI/CD; làm việc trên môi trường Linux.
Kỹ năng kỹ thuật - Ưu tiên
• Kinh nghiệm triển khai và quản trị Apache Superset hoặc Metabase: dashboard, semantic layer, row-level security.
• Kinh nghiệm với công cụ ELT/ingestion: Airbyte, Fivetran hoặc tương đương.
• Am hiểu nền tảng Cloud (AWS, GCP hoặc Azure): managed database, object storage (S3/MinIO), orchestration.
• Kinh nghiệm với table format mã nguồn mở: Apache Iceberg, Delta Lake hoặc Apache Hudi.
• Kinh nghiệm Data Observability: Great Expectations, Monte Carlo hoặc OpenMetadata.
Tố chất & Thái độ làm việc
• Có khả năng làm việc độc lập, chủ động đề xuất giải pháp kỹ thuật và kiến trúc hệ thống; không cần giám sát chặt.
• Tư duy hệ thống, phân tích vấn đề tốt; cẩn thận và chú trọng chất lượng, độ chính xác của dữ liệu.
• Có tinh thần tự học cao, cập nhật công nghệ mới liên tục và áp dụng vào công việc thực tế.
• Giao tiếp kỹ thuật rõ ràng, phối hợp tốt với đa phòng ban (Data, Business, DevOps, Backend).
• Có trách nhiệm với deadline và SLA; tư duy cải tiến liên tục.
Quyền lợi
Mức lương đề xuất từ 18.000.000 - 40.000.000 VNĐ/tháng, thỏa thuận theo năng lực và kinh nghiệm thực tế.
Lương tháng 13, thưởng theo dự án và xét review lương 06 tháng/lần.
Được tham gia BHXH, BHYT, BHTN theo quy định của pháp luật.
Được cung cấp công cụ làm việc: màn hình, bàn phím, chuột và các thiết bị cần thiết.
Bao bữa trưa, gửi xe miễn phí; tham gia du lịch, nghỉ mát, team building và các hoạt động nội bộ.
Được tham gia các khóa đào tạo kỹ năng chuyên môn, kỹ năng lãnh đạo do công ty tổ chức.
Môi trường làm việc thực chiến, có cơ hội tham gia các dự án chuyển đổi số quy mô lớn trong lĩnh vực giáo dục.
Thông tin khác
Thời gian làm việc
Thứ 2 - Thứ 7 (từ 08:30 đến 18:00)
Thời gian làm việc: 8h30 - 18h00 từ thứ 2 đến thứ 7; nghỉ 02 ngày nghỉ thứ Bảy/tháng theo quy định của công ty.
Thông tin chung
Nơi làm việc
- Hà Nội: Số 122 đường Hoàng Quốc Việt, Phường Nghĩa Đô (quận Bắc Từ Liêm, quận Cầu Giấy cũ)