LLMOps Engineer (Dự Án AI LLM)

Chúng tôi đang tìm kiếm LLMOps Engineer để xây dựng và vận hành hạ tầng triển khai các mô hình ngôn ngữ lớn (LLM) ở quy mô production. Vị trí này đóng vai trò then chốt trong việc đảm bảo các ứng dụng AI/LLM hoạt động ổn định, hiệu quả về chi phí và có khả năng mở rộng.
Triển khai & Vận hành LLM
• Thiết kế, xây dựng pipeline triển khai (deployment) cho các mô hình LLM (open-source như Llama, Qwen, DeepSeek hoặc API như OpenAI, Anthropic, Google).
• Tối ưu inference: quantization (GPTQ, AWQ, GGUF), batching, caching; sử dụng các framework như vLLM, TGI, TensorRT-LLM, [protected info]
• Quản lý GPU infrastructure, tối ưu chi phí tính toán và độ trễ (latency).
Pipeline & Tự động hóa
• Xây dựng CI/CD pipeline cho LLM applications (model versioning, A/B testing, canary deployment).
• Triển khai và quản lý các workflow fine-tuning, RAG (Retrieval-Augmented Generation), agent systems.
• Tích hợp vector database (Pinecone, Weaviate, Milvus, Qdrant, pgvector).
Monitoring & Observability
• Xây dựng hệ thống giám sát: latency, throughput, token usage, cost per request.
• Theo dõi chất lượng đầu ra: hallucination, drift detection, prompt regression.
• Thiết lập logging, tracing với các công cụ như LangSmith, Langfuse, Arize, Weights & Biases.
Bảo mật & Tuân thủ
• Thực hiện guardrails, content filtering, PII detection.
• Đảm bảo bảo mật dữ liệu, quản lý API keys, rate limiting.
• Tuân thủ các quy định về dữ liệu (GDPR, chính sách nội bộ công ty).
Cộng tác
• Làm việc chặt chẽ với ML Engineers, Data Scientists, Backend Engineers và Product team.
• Tư vấn lựa chọn mô hình, kiến trúc phù hợp với từng use case.