Chúng tôi đang tìm kiếm LLMOps Engineer để xây dựng và vận hành hạ tầng triển khai các mô hình ngôn ngữ lớn (LLM) ở quy mô production. Vị trí này đóng vai trò then chốt trong việc đảm bảo các ứng dụng AI/LLM hoạt động ổn định, hiệu quả về chi phí và có khả năng mở rộng.
Triển khai & Vận hành LLM
• Thiết kế, xây dựng pipeline triển khai (deployment) cho các mô hình LLM (open-source như Llama, Qwen, DeepSeek hoặc API như OpenAI, Anthropic, Google).
• Tối ưu inference: quantization (GPTQ, AWQ, GGUF), batching, caching; sử dụng các framework như vLLM, TGI, TensorRT-LLM, [protected info]
• Quản lý GPU infrastructure, tối ưu chi phí tính toán và độ trễ (latency).
Pipeline & Tự động hóa
• Xây dựng CI/CD pipeline cho LLM applications (model versioning, A/B testing, canary deployment).
• Triển khai và quản lý các workflow fine-tuning, RAG (Retrieval-Augmented Generation), agent systems.
• Tích hợp vector database (Pinecone, Weaviate, Milvus, Qdrant, pgvector).
Monitoring & Observability
• Xây dựng hệ thống giám sát: latency, throughput, token usage, cost per request.
• Theo dõi chất lượng đầu ra: hallucination, drift detection, prompt regression.
• Thiết lập logging, tracing với các công cụ như LangSmith, Langfuse, Arize, Weights & Biases.
Bảo mật & Tuân thủ
• Thực hiện guardrails, content filtering, PII detection.
• Đảm bảo bảo mật dữ liệu, quản lý API keys, rate limiting.
• Tuân thủ các quy định về dữ liệu (GDPR, chính sách nội bộ công ty).
Cộng tác
• Làm việc chặt chẽ với ML Engineers,
Data Scientists, Backend Engineers và Product team.
• Tư vấn lựa chọn mô hình,
kiến trúc phù hợp với từng use case.
• Tối thiểu 2 năm kinh nghiệm DevOps/MLOps/Backend, trong đó có ít nhất 1 năm làm việc với LLM ở production.
• Thành thạo Python; có kinh nghiệm với FastAPI hoặc framework tương đương.
• Kinh nghiệm với Docker, Kubernetes, Helm.
• Hiểu biết sâu về các framework LLM serving: vLLM, TGI, Ollama, hoặc tương đương.
• Kinh nghiệm với cloud (AWS/GCP/Azure), đặc biệt là GPU instances.
• Kinh nghiệm với LangChain, LlamaIndex hoặc framework orchestration tương tự.
• Hiểu biết về RAG, embedding models, vector search.
• Kinh nghiệm fine-tuning LLM (LoRA, QLoRA, full fine-tuning).
• Kinh nghiệm với Triton Inference Server, Ray Serve.
• Kinh nghiệm xây dựng agent systems (function calling, tool use, MCP).
• Đã triển khai hệ thống LLM phục vụ trên 1 triệu requests/ngày.
• Đóng góp open-source trong lĩnh vực ML/LLM.
• Hiểu biết về evaluation framework: RAGAS, DeepEval, MLflow.
• Tư duy hệ thống, khả năng debug và xử lý sự cố tốt.
• Khả năng đọc paper và áp dụng kỹ thuật mới nhanh chóng.
•
Tiếng Anh đọc hiểu tài liệu kỹ thuật.