MỤC TIÊU CÔNG VIỆC:
- Xây dựng và vận hành Data Platform: Thiết kế, xây dựng và vận hành Data Lake, Data Warehouse, Data Pipeline và Data Mart, đảm bảo dữ liệu chính xác, tin cậy và sẵn sàng cho BI, báo cáo và phân tích.
- Xử lý & mô hình hóa dữ liệu: Phát triển Data Pipeline và Data Model bằng SQL, Python, Apache Spark, phục vụ các nhu cầu phân tích và báo cáo quản trị.
- Phân tích dữ liệu viễn thông: Xử lý và chuẩn hóa dữ liệu lớn như CDR, Network Traffic, QoS, Billing và Customer Behavior.
- Vận hành nền tảng On-premise: Quản lý và tối ưu hệ thống Data Lake/DWH on-premise, đảm bảo hiệu năng, tính ổn định và bảo mật dữ liệu.
- BI & Báo cáo quản trị: Xây dựng Dashboard và báo cáo phân tích trên Power BI, Apache Superset, cung cấp thông tin phục vụ các phòng ban và hỗ trợ lãnh đạo ra quyết định.
- Data Quality & Performance:
Giám sát chất lượng dữ liệu, xử lý lỗi và tối ưu SQL Query, Spark Job và Data Pipeline.
- Phối hợp liên phòng ban, đơn vị nghiệp vụ để đảm bảo dữ liệu đầy đủ, chính xác và đáp ứng yêu cầu khai thác.
TRÁCH NHIỆM CHÍNH:
Data Engineering & Data Platform:
- Thiết kế và phát triển ETL/ELT Data Pipeline phục vụ các hệ thống dữ liệu.
- Xây dựng và vận hành: Data Lake / Data Warehouse / Data Mart.
- Phát triển các job xử lý dữ liệu bằng Python, SQL, Apache Spark/PySpark.
- Xây dựng workflow và scheduling: Apache Airflow.
- Thiết kế cơ chế ingest, transform và phân phối dữ liệu.
- Làm việc với các nền tảng object storage như: AWS(S3), Ceph(S3).
- Xây dựng cơ chế kiểm soát: Data Quality, Data Validation và Data Reconciliation.
- Tối ưu pipeline về hiệu năng, khả năng mở rộng và độ ổn định.
- Theo dõi, xử lý lỗi và cải thiện khả năng vận hành của Data Platform.
- Tham gia xây dựng các tiêu chuẩn cơ bản về: Data Governance và Data Management.
- Ưu tiên ứng viên có kinh nghiệm triển khai hệ thống On-premise Data Platform.
Database/ DBA:
- Thiết kế và tối ưu database phục vụ Data Platform.
- Làm việc với PostgreSQL, có kinh nghiệm: ClickHouse, Oracle/MongoDB
- Thiết kế bảng, Index, Partition và chiến lược lưu trữ dữ liệu.
- Phân tích và tối ưu SQL Query / Query Performance.
- Tham gia thiết kế Backup/Restore, Replication và High Availability.
- Monitoring database, phân tích bottleneck và xử lý vấn đề hiệu năng.
- Quản lý Security, Permission và Database Access Control.
- Phối hợp với DBA/DevOps trong việc vận hành hệ thống database trên môi trường production.
BI / Analytics:
- Thiết kế và xây dựng Data Mart phục vụ báo cáo và phân tích.
- Xây dựng mô hình dữ liệu Star Schema, Fact và Dimension.
- Phối hợp với
Business Analyst/
Data Analyst xác định KPI và Business Metrics.
- Phát triển và tối ưu báo cáo, dashboard trên Power BI.
- Có khả năng sử dụng Apache Superset là lợi thế.
- Kiểm tra và đối soát dữ liệu giữa Source - DWH - Data Mart - BI.
- Hỗ trợ các phòng ban nghiệp vụ khai thác và phân tích dữ liệu.