Chuyên Viên Xây Dựng Cơ Sở Dữ Liệu (Data Engineering)

1.1. Thiết kế và xây dựng hệ thống dữ liệu:
● Phát triển và duy trì các data pipelines để thu thập, xử lý và tích hợp dữ liệu từ nhiều nguồn khác nhau, bao gồm hệ thống ERP, hệ thống quản lý sản xuất (MES), hệ thống quản lý kho (WMS), và các hệ thống cảm biến IoT trên dây chuyền sản xuất.
● Xây dựng và quản lý kho dữ liệu (data warehouse) hoặc hồ dữ liệu (data lake) để lưu trữ và truy xuất dữ liệu một cách hiệu quả.
● Thiết kế và triển khai các giải pháp lưu trữ dữ liệu tối ưu, đảm bảo tính sẵn sàng, khả năng mở rộng và hiệu suất của hệ thống.
● Xây dựng các công cụ tự động cảnh báo khi có dấu hiệu bất thường trong dữ liệu sản xuất hoặc bán hàng.
1.2. Xử lý và chuyển đổi dữ liệu:
● Xây dựng các quy trình ETL/ELT (Extract, Transform, Load/Extract, Load, Transform) để làm sạch, chuẩn hóa và chuyển đổi dữ liệu thô thành dữ liệu có cấu trúc, sẵn sàng cho phân tích.
● Phát triển các script và công cụ để tự động hóa các quy trình xử lý dữ liệu.
● Đảm bảo chất lượng dữ liệu bằng cách thực hiện các kiểm tra dữ liệu và triển khai các biện pháp kiểm soát dữ liệu.
1.3. Quản lý và bảo trì hệ thống dữ liệu:
● Giám sát hiệu suất của hệ thống dữ liệu và thực hiện các biện pháp tối ưu hóa để đảm bảo hệ thống hoạt động ổn định và hiệu quả.
● Xử lý sự cố và khắc phục các vấn đề liên quan đến hệ thống dữ liệu.
● Đảm bảo an ninh dữ liệu và tuân thủ các quy định về bảo vệ dữ liệu.
● Cập nhật và tối ưu hệ thống khi phát sinh những yêu cầu mới từ các phòng ban.
1.4 Hỗ trợ phân tích dữ liệu và báo cáo:
● Phối hợp với các nhà phân tích dữ liệu để cung cấp dữ liệu cần thiết cho việc phân tích và báo cáo.
● Phát triển các báo cáo và dashboard để trực quan hóa dữ liệu và cung cấp thông tin chi tiết về hoạt động sản xuất và kinh doanh.
● Tìm hiểu nhu cầu của các phòng ban về mặt dữ liệu để tạo những báo cáo phù hợp, hỗ trợ cho việc vận hành nhà máy.
1.5 Nghiên cứu và phát triển:
● Nghiên cứu và đánh giá các công nghệ và xu hướng mới trong lĩnh vực kỹ sư dữ liệu.
● Đề xuất và triển khai các giải pháp mới để cải thiện hiệu suất và hiệu quả của hệ thống dữ liệu.
● Sử dụng các công cụ AI, các phần mềm Automation... (Google AI, ChatGPT, AutoML, Python AI/ML, Make, n8n ...) để tự động hóa quy trình, tìm kiếm và phân tích dữ liệu, đưa ra các kết quả mong muốn.
● Ứng dụng Machine Learning (ML) và mô hình dự báo để:
○ Dự đoán nhu cầu thị trường, tối ưu kế hoạch sản xuất.
○ Dự báo tồn kho, tránh dư thừa hoặc thiếu hụt nguyên vật liệu.
○ Dự báo hiệu suất làm việc của nhân viên, quy trình sản xuất.
● Xây dựng các công cụ tự động cảnh báo khi có dấu hiệu bất thường trong dữ liệu sản xuất hoặc bán hàng.