Chuyên Viên Big Data (Middle)

- Tham gia khảo sát, phân tích yêu cầu, thiết kế và triển khai các hệ thống dữ liệu lớn, kho dữ liệu, Data Lake/Lakehouse cho các dự án chuyển đổi số.
- Triển khai, cấu hình và vận hành các thành phần trong hệ sinh thái Big Data mã nguồn mở Apache như Hadoop, HDFS, Spark, Hive, Kafka, NiFi, Airflow và các công nghệ liên quan.
- Xây dựng pipeline thu thập, tích hợp, đồng bộ và xử lý dữ liệu từ nhiều nguồn: cơ sở dữ liệu quan hệ, API, file dữ liệu, log hệ thống, dữ liệu batch, streaming hoặc near real-time.
- Thiết kế và phát triển các luồng ETL/ELT phục vụ làm sạch dữ liệu, chuẩn hóa dữ liệu, kiểm soát chất lượng dữ liệu, đối soát dữ liệu và chuyển đổi dữ liệu theo yêu cầu nghiệp vụ.
- Tham gia thiết kế các lớp dữ liệu trong kiến trúc Lakehouse: dữ liệu thô, dữ liệu đã chuẩn hóa, dữ liệu phục vụ phân tích, báo cáo và khai thác nghiệp vụ.
- Xây dựng kho dữ liệu, data mart, mô hình dữ liệu, dataset phục vụ BI, dashboard điều hành, báo cáo quản trị và các nhu cầu phân tích dữ liệu.
- Tối ưu hiệu năng xử lý dữ liệu, truy vấn dữ liệu, phân vùng dữ liệu, dung lượng lưu trữ và tính ổn định của hệ thống trong quá trình triển khai/vận hành.
- Phối hợp với BA, BI Developer, đội phát triển phần mềm, DevOps, hạ tầng, bảo mật và các bên nghiệp vụ/khách hàng để triển khai hệ thống trên môi trường thử nghiệm và production.
- Xây dựng tài liệu kỹ thuật, tài liệu thiết kế, tài liệu cài đặt/vận hành, tài liệu bàn giao và hướng dẫn khai thác hệ thống dữ liệu.
- Nghiên cứu, đề xuất và áp dụng các công nghệ mới trong lĩnh vực Big Data, Data Engineering, Data Lakehouse, Data Governance, BI/Analytics.