Mô tả Công việc
Xây dựng kiến trúc, phát triển các công cụ khai thác dữ liệu lớn, xử lý, chuyển đổi dữ liệu lớn và quản trị dữ liệu lớn (Big Data).
Triển khai và phát triển các ứng dụng, mô hình xử lý dữ liệu trong hệ sinh thái dữ liệu lớn (Big Data) (Hadoop, Spark, Kafka,...) nhằm đảm bảo cung cấp một nền tảng lưu trữ, xử lý và khai thác dữ liệu đồng nhất, ổn định và hiệu quả cao.
Nghiên cứu và thiết kế các hệ thống bảng biểu, các vùng lưu trữ, các pipeline dữ liệu, các chuẩn nén và phân tầng dữ liệu ...
phục vụ cung cấp dữ liệu cho nhu cầu khai thác, phân tích của các yêu cầu và dự án triển khai trên hạ tầng Big Data.
Tìm hiểu, phân tích, đánh giá và xử lý các nguồn dữ liệu bán cấu trúc và phi cấu trúc; xây dựng các phương án kết nối dữ liệu đúng logic, nhanh và ổn định.
Nghiên cứu, phát triển và quy hoạch các hệ thống đồng bộ và xử lý dữ liệu theo thời gian thực (near realtime), data streaming trên các nền tảng Oracle, Kafka Streams,... phục vụ nhu cầu khai thác dữ liệu theo thời gian thực.
Nghiên cứu, phát triển và quy hoạch các hệ thống đám mây (Google Cloud) phục vụ lưu trữ và xử lý dữ liệu để giảm tải cho các hệ thống on-premise.
Đánh giá các giải pháp kỹ thuật cũng như kiến trúc của luồng xử lý dữ liệu để đảm bảo đáp ứng các yêu cầu về hiệu năng, mức độ sẵn sàng cao và tính dễ mở rộng.
Xây dựng và cập nhật các tài liệu liên quan đến thiết kế, triển khai, phát triển và vận hành hệ thống lưu trữ và xử lý dữ liệu lớn
Xây dựng kiến trúc, phát triển các công cụ khai thác dữ liệu lớn, xử lý, chuyển đổi dữ liệu lớn và quản trị dữ liệu lớn (Big Data).
Triển khai và phát triển các ứng dụng, mô hình xử lý dữ liệu trong hệ sinh thái dữ liệu lớn (Big Data) (Hadoop, Spark, Kafka,...) nhằm đảm bảo cung cấp một nền tảng lưu trữ, xử lý và khai thác dữ liệu đồng nhất, ổn định và hiệu quả cao.
Nghiên cứu và thiết kế các hệ thống bảng biểu, các vùng lưu trữ, các pipeline dữ liệu, các chuẩn nén và phân tầng dữ liệu ... phục vụ cung cấp dữ liệu cho nhu cầu khai thác, phân tích của các yêu cầu và dự án triển khai trên hạ tầng Big Data.
Tìm hiểu, phân tích, đánh giá và xử lý các nguồn dữ liệu bán cấu trúc và phi cấu trúc; xây dựng các phương án kết nối dữ liệu đúng logic, nhanh và ổn định.
Nghiên cứu, phát triển và quy hoạch các hệ thống đồng bộ và xử lý dữ liệu theo thời gian thực (near realtime), data streaming trên các nền tảng Oracle, Kafka Streams,... phục vụ nhu cầu khai thác dữ liệu theo thời gian thực.
Nghiên cứu, phát triển và quy hoạch các hệ thống đám mây (Google Cloud) phục vụ lưu trữ và xử lý dữ liệu để giảm tải cho các hệ thống on-premise.
Đánh giá các giải pháp kỹ thuật cũng như kiến trúc của luồng xử lý dữ liệu để đảm bảo đáp ứng các yêu cầu về hiệu năng, mức độ sẵn sàng cao và tính dễ mở rộng.
Xây dựng và cập nhật các tài liệu liên quan đến thiết kế, triển khai, phát triển và vận hành hệ thống lưu trữ và xử lý dữ liệu lớn