Data EngineerCÔNG TY CỔ PHẦN HỆ THỐNG CÔNG NGHỆ ETC
Hình thức: Toàn thời gian
Ngày đăng: 16/10/2024
Hạn nộp: 17/11/2024
Mô tả công việc
Thiết kế và xây dựng pipeline dữ liệu: Kỹ sư dữ liệu chịu trách nhiệm thiết kế, phát triển và tối ưu hóa các luồng xử lý dữ liệu (ETL/ELT) để chuyển đổi, tải và tích hợp dữ liệu từ các hệ thống nguồn (như hệ thống ngân hàng lõi, CRM, ERP) vào Data Lake. Mục tiêu đảm bảo dữ liệu được xử lý một cách nhanh chóng và hiệu quả.
Quản lý và bảo trì hệ thống dữ liệu: Đảm bảo rằng hệ thống Data Lake hoạt động ổn định, thực hiện bảo trì thường xuyên và cải tiến hiệu suất hệ thống khi cần thiết, bao gồm việc giám sát dữ liệu, phát hiện và khắc phục sự cố, cũng như tối ưu hóa hiệu suất hệ thống.
Xử lý và tích hợp dữ liệu lớn (Big Data): Với khối lượng dữ liệu lớn, kỹ sư dữ liệu cần sử dụng các công nghệ Big Data như Apache Hadoop, Spark hoặc Kafka để xử lý và lưu trữ dữ liệu một cách hiệu quả.
Quản lý và bảo trì hệ thống dữ liệu: Đảm bảo rằng hệ thống Data Lake hoạt động ổn định, thực hiện bảo trì thường xuyên và cải tiến hiệu suất hệ thống khi cần thiết, bao gồm việc giám sát dữ liệu, phát hiện và khắc phục sự cố, cũng như tối ưu hóa hiệu suất hệ thống.
Xử lý và tích hợp dữ liệu lớn (Big Data): Với khối lượng dữ liệu lớn, kỹ sư dữ liệu cần sử dụng các công nghệ Big Data như Apache Hadoop, Spark hoặc Kafka để xử lý và lưu trữ dữ liệu một cách hiệu quả.
Yêu cầu
Kiến thức và Kinh nghiệm Chuyên môn
+ Kinh nghiệm với hệ thống dữ liệu lớn (Big Data): Có kinh nghiệm làm việc với các hệ thống dữ liệu lớn, bao gồm việc xử lý và lưu trữ dữ liệu khối lượng lớn trong môi trường phân tán.
+ Thành thạo các công cụ và nền tảng Big Data: Kỹ sư dữ liệu cần có kỹ năng với các công cụ và công nghệ như Apache Hadoop, Apache Spark, và Kafka, cũng như các dịch vụ Cloud như AWS Glue, Google BigQuery, hoặc Azure Data Lake.
+ Kiến thức về cơ sở dữ liệu và ETL/ELT: Kỹ năng làm việc với cơ sở dữ liệu quan hệ (SQL, Oracle) và NoSQL (MongoDB, Cassandra) là cần thiết, cùng với kinh nghiệm xây dựng và tối ưu hóa các pipeline ETL/ELT để xử lý và chuyển đổi dữ liệu từ nhiều nguồn.
+ Hiểu biết về Python hoặc Scala: Đa số các công cụ Big Data sử dụng Python hoặc Scala để phát triển và triển khai các quy trình xử lý dữ liệu.
Kỹ năng và Khả năng Kỹ thuật
+ Tích hợp dữ liệu và làm việc với API: Kỹ sư dữ liệu cần có kinh nghiệm tích hợp dữ liệu từ nhiều nguồn, bao gồm các hệ thống ngân hàng cốt lõi (Core Banking), CRM, và hệ thống quản lý tài chính.
+Kinh nghiệm với Data Lake và Data Warehouse: Hiểu biết về các mô hình lưu trữ dữ liệu như Data Lake và Data Warehouse, khả năng quản lý dữ liệu bán cấu trúc và phi cấu trúc (JSON, XML).
+ Quản lý chất lượng dữ liệu và Data Governance: Có khả năng kiểm tra và quản lý chất lượng dữ liệu, hiểu biết về các khái niệm quản trị dữ liệu (Data Governance) và thực hiện các quy trình đảm bảo chất lượng.
Yêu cầu về Bảo mật và Quy định
+ Kiến thức về bảo mật dữ liệu: Do làm việc trong lĩnh vực ngân hàng, kỹ sư dữ liệu cần có hiểu biết về các quy định bảo mật và tuân thủ (như GDPR, PCI DSS) để bảo vệ dữ liệu nhạy cảm.
+ Kinh nghiệm làm việc trong môi trường có quy định nghiêm ngặt: Kỹ sư dữ liệu cần quen thuộc với các yêu cầu tuân thủ trong ngành tài chính và có kinh nghiệm làm việc trong môi trường quản lý rủi ro cao.
Kỹ năng phân tích: Khả năng phân tích, nhận diện các vấn đề về dữ liệu và tìm ra các giải pháp tối ưu hóa quy trình xử lý dữ liệu.
Khả năng làm việc trong nhóm và giao tiếp tốt: Vì kỹ sư dữ liệu phải làm việc chặt chẽ với các phòng ban khác, kỹ năng giao tiếp và khả năng làm việc trong nhóm là rất quan trọng.
+ Kinh nghiệm với hệ thống dữ liệu lớn (Big Data): Có kinh nghiệm làm việc với các hệ thống dữ liệu lớn, bao gồm việc xử lý và lưu trữ dữ liệu khối lượng lớn trong môi trường phân tán.
+ Thành thạo các công cụ và nền tảng Big Data: Kỹ sư dữ liệu cần có kỹ năng với các công cụ và công nghệ như Apache Hadoop, Apache Spark, và Kafka, cũng như các dịch vụ Cloud như AWS Glue, Google BigQuery, hoặc Azure Data Lake.
+ Kiến thức về cơ sở dữ liệu và ETL/ELT: Kỹ năng làm việc với cơ sở dữ liệu quan hệ (SQL, Oracle) và NoSQL (MongoDB, Cassandra) là cần thiết, cùng với kinh nghiệm xây dựng và tối ưu hóa các pipeline ETL/ELT để xử lý và chuyển đổi dữ liệu từ nhiều nguồn.
+ Hiểu biết về Python hoặc Scala: Đa số các công cụ Big Data sử dụng Python hoặc Scala để phát triển và triển khai các quy trình xử lý dữ liệu.
Kỹ năng và Khả năng Kỹ thuật
+ Tích hợp dữ liệu và làm việc với API: Kỹ sư dữ liệu cần có kinh nghiệm tích hợp dữ liệu từ nhiều nguồn, bao gồm các hệ thống ngân hàng cốt lõi (Core Banking), CRM, và hệ thống quản lý tài chính.
+Kinh nghiệm với Data Lake và Data Warehouse: Hiểu biết về các mô hình lưu trữ dữ liệu như Data Lake và Data Warehouse, khả năng quản lý dữ liệu bán cấu trúc và phi cấu trúc (JSON, XML).
+ Quản lý chất lượng dữ liệu và Data Governance: Có khả năng kiểm tra và quản lý chất lượng dữ liệu, hiểu biết về các khái niệm quản trị dữ liệu (Data Governance) và thực hiện các quy trình đảm bảo chất lượng.
Yêu cầu về Bảo mật và Quy định
+ Kiến thức về bảo mật dữ liệu: Do làm việc trong lĩnh vực ngân hàng, kỹ sư dữ liệu cần có hiểu biết về các quy định bảo mật và tuân thủ (như GDPR, PCI DSS) để bảo vệ dữ liệu nhạy cảm.
+ Kinh nghiệm làm việc trong môi trường có quy định nghiêm ngặt: Kỹ sư dữ liệu cần quen thuộc với các yêu cầu tuân thủ trong ngành tài chính và có kinh nghiệm làm việc trong môi trường quản lý rủi ro cao.
Kỹ năng phân tích: Khả năng phân tích, nhận diện các vấn đề về dữ liệu và tìm ra các giải pháp tối ưu hóa quy trình xử lý dữ liệu.
Khả năng làm việc trong nhóm và giao tiếp tốt: Vì kỹ sư dữ liệu phải làm việc chặt chẽ với các phòng ban khác, kỹ năng giao tiếp và khả năng làm việc trong nhóm là rất quan trọng.
Quyền lợi
Chế độ lương thưởng hấp dẫn;
Chế độ BHYT, BHXH, BHTN, BH Sức khỏe
Thưởng Tết âm Lịch;
Bếp ăn cho Nhân viên (công ty hỗ trợ chi phí);
Hỗ trợ người lao động các dịp: 30/4 - 1/5, ngày 2/9, tết dương lịch;
Quà sinh nhật cho người lao động;
Với nữ nhân viên: ngày 8/3, 20/10;
Với nhân viên có con dưới 15 tuổi: 1/6, trung thu;
Các chế độ nghỉ theo quy định của nhà nước;
Nghỉ mát một lần một năm, team building 1-2 dịp một năm và các chế độ đào tạo, công tác khác;
Môi trường làm việc thân thiện, năng động, đa dạng và thăng tiến.
Chế độ BHYT, BHXH, BHTN, BH Sức khỏe
Thưởng Tết âm Lịch;
Bếp ăn cho Nhân viên (công ty hỗ trợ chi phí);
Hỗ trợ người lao động các dịp: 30/4 - 1/5, ngày 2/9, tết dương lịch;
Quà sinh nhật cho người lao động;
Với nữ nhân viên: ngày 8/3, 20/10;
Với nhân viên có con dưới 15 tuổi: 1/6, trung thu;
Các chế độ nghỉ theo quy định của nhà nước;
Nghỉ mát một lần một năm, team building 1-2 dịp một năm và các chế độ đào tạo, công tác khác;
Môi trường làm việc thân thiện, năng động, đa dạng và thăng tiến.
Giới thiệu công ty
CÔNG TY CỔ PHẦN HỆ THỐNG CÔNG NGHỆ ETC việc làm
Tầng 11, Tòa Nhà 319 Bộ Quốc Phòng, Số 63 Lê Văn Lương, Phường Trung Hòa, Quận Cầu Giấy, TP Hà Nội
Quy mô: Từ 501 - 1000 nhân viên
Việc làm tương tự
Backend Developer (Nodejs/Python)
Công Ty TNHH Hệ Thống Thông Tin FPT - FPT Information System - FPT IS
Thoả thuận
Hà Nội
28/11/2024
Vị trí Data Engineer do công ty CÔNG TY CỔ PHẦN HỆ THỐNG CÔNG NGHỆ ETC tuyển dụng tại Hà Nội, Joboko tự động tổng hợp mức lương Thỏa thuận, tìm thêm việc làm về Data Engineer hoặc công ty CÔNG TY CỔ PHẦN HỆ THỐNG CÔNG NGHỆ ETC ở các link phía trên
Giới thiệu công ty
CÔNG TY CỔ PHẦN HỆ THỐNG CÔNG NGHỆ ETC việc làm
Tầng 11, Tòa Nhà 319 Bộ Quốc Phòng, Số 63 Lê Văn Lương, Phường Trung Hòa, Quận Cầu Giấy, TP Hà Nội
Quy mô: Từ 501 - 1000 nhân viên