1. Mô tả công việc
Chúng tôi đang tìm kiếm Data Engineer giàu kinh nghiệm trong việc xây dựng và vận hành hệ thống xử lý dữ liệu lớn, đồng thời có khả năng ứng dụng AI vào quá trình xử lý và khai thác dữ liệu.
Ứng viên sẽ thiết kế
kiến trúc dữ liệu, xây dựng data pipeline, đồng thời tham gia phát triển các hệ thống dựa trên vector database và tối ưu pipeline RAG (Retrieval-Augmented Generation) để nâng cao chất lượng truy xuất và khai thác dữ liệu cho các sản phẩm AI.
2. Trách nhiệm chính
Xây dựng hệ thống dữ liệu
• Thiết kế và xây dựng Data Pipeline (ETL/ELT) xử lý dữ liệu lớn.
• Thu thập, xử lý và lưu trữ dữ liệu từ nhiều nguồn (database, API, log, streaming).
• Thiết kế data lake / data warehouse
phục vụ phân tích và AI/ML.
• Tối ưu hiệu năng pipeline, query và hệ thống lưu trữ.
Ứng dụng AI trong xử lý dữ liệu (trọng tâm)
• Ứng dụng AI / LLM vào quá trình xử lý dữ liệu: data extraction, cleaning, classification, enrichment, entity resolution.
• Xây dựng pipeline embedding và chuẩn hóa dữ liệu phục vụ semantic search và RAG.
• Tích hợp mô hình AI vào data pipeline để tự động hóa các tác vụ xử lý dữ liệu phức tạp.
Vector Database & RAG (trọng tâm)
• Thiết kế, triển khai và vận hành vector database (Milvus, Qdrant, Weaviate, pgvector, Elasticsearch).
• Xây dựng và tối ưu pipeline RAG: chunking, embedding, indexing, retrieval và re-ranking.
• Tối ưu chất lượng truy xuất: hybrid search, metadata filtering, re-ranking, đánh giá retrieval quality.
• Tối ưu hiệu năng và chi phí lưu trữ / truy vấn vector ở quy mô lớn.
Vận hành và tối ưu
• Monitoring data pipeline và hệ thống truy xuất dữ liệu.
• Đảm bảo tính ổn định, bảo mật và khả năng mở rộng của hệ thống dữ liệu.
3. Yêu cầu
Bắt buộc
• Kinh nghiệm 4+ năm trong vai trò Data Engineer hoặc tương đương.
• Thành thạo Python và SQL; kinh nghiệm với hệ quản trị cơ sở dữ liệu.
• Vững về ETL / Data Pipeline / Data Modeling.
• Kinh nghiệm làm việc với hệ thống Big Data.
• Khả năng ứng dụng AI / LLM vào quá trình xử lý dữ liệu.
• Quen thuộc với vector database (Milvus, Qdrant, Weaviate, pgvector...).
• Khả năng xây dựng và tối ưu pipeline RAG (embedding, retrieval, re-ranking).
• Hiểu biết về Docker, Kubernetes.
Ưu tiên
• Kinh nghiệm với công nghệ Big Data: Apache Spark, Hadoop, Kafka, Flink.
• Kinh nghiệm với embedding models và các framework RAG (LangChain, LlamaIndex, Haystack).
• Hiểu biết về MLOps tools: MLflow, Kubeflow, Airflow.
• Kinh nghiệm với Knowledge Graph / Graph Database (Neo4j).
• Kinh nghiệm đánh giá và benchmark chất lượng RAG (recall, precision, relevance).
• Kinh nghiệm triển khai hệ thống AI/ML trên on-premise cluster.
4. Kỹ năng
• Tư duy hệ thống và thiết kế kiến trúc dữ liệu.
• Khả năng tối ưu hệ thống xử lý dữ liệu lớn và pipeline truy xuất.
• Kỹ năng debug và xử lý sự cố hệ thống.
• Kỹ năng làm việc nhóm và trao đổi kỹ thuật.
5. Điểm cộng
• Đã triển khai hệ thống RAG / AI production quy mô lớn.
• Kinh nghiệm với LLM, semantic search, knowledge graph.
• Hiểu biết về DevOps / MLOps / Distributed systems.
6. Quyền lợi
• Làm việc với hệ thống dữ liệu và AI/RAG quy mô lớn.
• Cơ hội phát triển trong các dự án AI / Big Data / LLM / RAG.
• Môi trường kỹ thuật cao và nhiều thử thách.