Senior AI Engineer

Vị trí: Senior AI Engineer (LLM / Agentic AI / RAG)
Cấp độ: Senior (5+ năm kinh nghiệm phần mềm, trong đó ≥3 năm làm LLM/AI trong sản phẩm thật)
Hình thức: Fulltime - [Onsite / hybrid]
Địa điểm: Lim Tower 3, 29A Nguyễn Đình Chiểu, P. Sài Gòn, TP.HCM
Số lượng: 01 (Do tính chất công việc công ty chỉ tuyển người Việt Nam - Vietnamese Only)
Công nghệ đang dùng
● LLM providers: OpenAI, Anthropic, Google, Llama / mô hình mở - qua API hoặc self-host; multi-provider routing, fallback, circuit breaker, streaming.
● RAG & Vector DB: pgvector / Qdrant / Milvus; chunking, hybrid retrieval, reranking, knowledge graph; eval harness cho retrieval.
● Agentic: LangGraph / agent harness tự xây; tool-calling, MCP (client và server), multi-agent orchestration, human-in-the-loop.
● Backend & tích hợp: Python (FastAPI) và/hoặc Go; REST + streaming API; PostgreSQL, Redis, NATS/Kafka, event-driven, outbox pattern.
● LLM Ops: eval harness, guardrails, OpenTelemetry/Langfuse, cost governance, model registry, CI cho prompt và model.
● Hạ tầng: Docker, Kubernetes, GitLab CI, GCP; vLLM / Triton / BentoML cho self-host và tối ưu inference.
Trách nhiệm chính
● Sở hữu kiến trúc AI của sản phẩm: thiết kế hệ thống LLM/agentic ở mức nền tảng - phân rã service, hợp đồng dữ liệu giữa agent và hệ thống, chiến lược retrieval, biên giới quyền của agent.
● Thiết lập chuẩn đo lường cho cả team: xây eval harness và golden dataset dùng chung; đưa eval vào CI để mọi thay đổi prompt/model đều có số liệu trước khi lên production.
● Quản trị chi phí và hiệu năng: thiết lập ngân sách token, model routing, caching, batching; chịu trách nhiệm về chi phí inference của sản phẩm.
● Thiết kế guardrails và bảo mật AI: phòng prompt injection, phân quyền tool, PII masking, sandbox cho code do LLM sinh, audit log mọi tool call.
● Dẫn dắt kỹ thuật: review thiết kế và code, mentor Middle/Junior, viết tài liệu kiến trúc; đề xuất và bảo vệ quyết định kỹ thuật trước product và ban lãnh đạo.
● Vận hành production: thiết kế observability (tracing xuyên suốt agent nhiều bước), on-call cho sự cố AI, postmortem và phòng ngừa tái diễn.
● Đánh giá công nghệ mới: thẩm định model/framework mới bằng thử nghiệm có số liệu, không theo xu hướng.
Yêu cầu bắt buộc (Must-have)
● 5+ năm kinh nghiệm phát triển phần mềm, trong đó tối thiểu 3 năm làm LLM/AI trong sản phẩm production có người dùng thật.
● Đã sở hữu end-to-end ít nhất một hệ thống AI chạy production: từ thiết kế kiến trúc, triển khai, đo lường đến vận hành và tối ưu.
● Thành thạo Python; vững ít nhất một backend language khác (Go / Java / Node) và thiết kế hệ phân tán.
● RAG chuyên sâu: hybrid retrieval, reranking, chiến lược chunking theo loại tài liệu; đo chất lượng bằng golden dataset và chỉ số định lượng.
● Agentic chuyên sâu: multi-agent orchestration, MCP (hiểu bản chất chuẩn hoá, đã viết server hoặc tích hợp sâu), kiểm soát vòng lặp và ngân sách, human-in-the-loop cho thao tác có side effect.
● LLM Ops: đã xây eval harness bắt regression; đã thiết lập observability và theo dõi chi phí ở mức production; biết đánh đổi giữa chi phí, latency và chất lượng bằng số liệu.
● Bảo mật AI: hiểu và đã xử lý prompt injection, phân quyền tool, dữ liệu nhạy cảm gửi tới LLM bên thứ ba.
● Kinh nghiệm mentor và review cho kỹ sư ít kinh nghiệm hơn; giao tiếp rõ ràng với product và các team khác.
● Tiếng Anh đọc hiểu tài liệu kỹ thuật tốt; đọc được paper và đánh giá độ tin cậy của phương pháp.
Điểm cộng (Nice-to-have)
● Self-host và tối ưu inference: vLLM / Triton / BentoML; quantization, KV cache reuse, continuous batching; đo TTFT, throughput, cost per request.
● Fine-tuning: LoRA / QLoRA / PEFT; chuẩn bị dataset, đánh giá so với baseline, biết khi nào fine-tune là lựa chọn sai.
● Kubernetes, NATS/Kafka, outbox pattern, Elasticsearch; model registry, CI/CD cho model, A/B testing.
● Kinh nghiệm xây platform AI dùng chung cho nhiều team hoặc nhiều sản phẩm.
● Publication, đóng góp open-source, hoặc portfolio kỹ thuật công khai (GitHub).
● Kinh nghiệm domain IoT, Fintech hoặc hệ thống real-time.
Kỹ năng & thái độ
● Tư duy hệ thống và sản phẩm: cân nhắc chi phí vận hành, độ tin cậy và bảo mật ngang với chất lượng mô hình.
● Ra quyết định dựa trên số liệu; biết phân biệt rõ cái đã đo, cái là ước lượng và cái chưa biết.
● Sẵn sàng phản biện và cũng sẵn sàng đổi ý khi có dữ liệu ngược lại; disagree-and-commit.
● Dẫn dắt bằng chuẩn mực kỹ thuật: viết code và tài liệu để người khác tiếp quản được.
● Chủ động cập nhật mảng AI/LLM và truyền đạt lại cho team.