Data Engineer Database/ Big Data/ SQL

• Xây dựng và triển khai các pipeline xử lý dữ liệu quy mô lớn từ nhiều nguồn khác nhau.
• Phối hợp với các bộ phận liên quan để thu thập, làm sạch và tích hợp dữ liệu nhằm phục vụ cho các hệ thống trạm dữ liệu trung tâm (data hub), phân tích và báo cáo.
• Thiết kế, triển khai và tối ưu các giải pháp dữ liệu dựa trên nền tảng Big Data (Hadoop) để đảm bảo hiệu suất và độ tin cậy cao.
• Sử dụng các công nghệ như Apache Spark, Kafka và Flink để xử lý dữ liệu theo thời gian thực cũng như xử lý dữ liệu theo lô.
• Phát triển, kiểm thử và bảo trì các quy trình ETL, đảm bảo dữ liệu được cập nhật và phân phối chính xác tới các hệ thống downstream.
• Đảm bảo các tiêu chuẩn bảo mật, chất lượng dữ liệu và tuân thủ các quy định về quản lý dữ liệu.

a) Kỹ năng chuyên môn:

• Kinh nghiệm lập trình và xử lý dữ liệu bằng Apache Spark, với khả năng tối ưu hóa hiệu suất xử lý dữ liệu.
• Thành thạo các công nghệ Big Data như Hadoop, HDFS, MapReduce, YARN.
• Kinh nghiệm làm việc với các framework xử lý dữ liệu phân tán như Spark, Kafka và Flink.
• Quản lý và triển khai các hệ thống truyền tải dữ liệu sử dụng Kafka và Flink.
• Sử dụng thành thạo SQL cho các tác vụ trích xuất, phân tích và xử lý dữ liệu.

b) Kỹ năng lập trình:

• Thành thạo ít nhất một ngôn ngữ lập trình như Python hoặc Java.
• Kinh nghiệm lập trình SQL và làm việc với các hệ quản trị cơ sở dữ liệu quan hệ và phi quan hệ.

c) Kỹ năng thiết kế và triển khai hệ thống:

• Khả năng thiết kế và triển khai các hệ thống xử lý dữ liệu quy mô lớn, có khả năng mở rộng và chịu lỗi.
• Kinh nghiệm làm việc với các công cụ CI/CD và các nền tảng đám mây như AWS, Azure hoặc GCP là một lợi thế.

d) Kỹ năng phân tích và giải quyết vấn đề:

• Khả năng phân tích các yêu cầu về dữ liệu và đưa ra các giải pháp kỹ thuật phù hợp.
• Khả năng giải quyết các vấn đề kỹ thuật phức tạp một cách hiệu quả.

e) Kỹ năng giao tiếp và làm việc nhóm:

• Khả năng giao tiếp rõ ràng và hiệu quả với các thành viên trong đội ngũ và các bên liên quan.
• Khả năng làm việc nhóm tốt và sẵn sàng chia sẻ kiến thức và kinh nghiệm.

f) Kỹ năng khác

• Các chứng chỉ và khóa đào tạo tương ứng là điểm cộng
• Tốt nghiệp Khoa học máy tính, Kỹ sư phần mềm, Hệ thống thống thông tin quản lý hoặc tương đương.
• Kinh nghiệm làm việc với các công cụ quản lý luồng công việc (workflow orchestration) như Airflow hoặc NiFi.
• Kinh nghiệm làm việc với các công cụ giám sát và cảnh báo hệ thống như Prometheus, ELK hoặc Grafana.
• Kiến thức về các phương pháp luận Agile/Scrum.