Senior Llmops Engineer - AI Infrastructure & Gpu Computing

Mức độ phù hợp và xếp hạng của bạn so với ứng viên khác như thế nào?
Đơn vị tuyển dụng: Viettel Cyber Security (VCS)
Địa điểm làm việc: 41st Floor, Landmark-Keangnam, Pham Hung Street, Hà Nội
Lĩnh vực: LLMOps · AI Infrastructure · GPU Computing · MLOps
Level: Senior
MÔ TẢ VỊ TRÍ
Viettel Cyber Security (VCS) đang xây dựng và phát triển nền tảng LLM nội bộ, phục vụ nhu cầu ứng dụng AI trong hoạt động nghiên cứu, phát triển sản phẩm và vận hành của công ty.
Chúng tôi tìm kiếm LLMOps Engineer có kinh nghiệm triển khai và vận hành các mô hình ngôn ngữ lớn (LLM) trên hạ tầng GPU on-premise, đồng thời tham gia xây dựng hệ thống công cụ và quy trình LLMOps hỗ trợ hoạt động nghiên cứu, fine-tuning và quản lý vòng đời mô hình.
• LLM Serving & Operations: Triển khai, tối ưu hiệu năng, giám sát và đảm bảo hoạt động ổn định của các mô hình LLM phục vụ nhiều ứng dụng và người dùng nội bộ.
• Training Platform & Model Lifecycle: Xây dựng môi trường, công cụ và quy trình tự động hóa phục vụ fine-tuning, quản lý phiên bản, đánh giá, lưu trữ và triển khai mô hình từ nghiên cứu lên production.
LLMOps Engineer phối hợp với các team AI/ML Research, AI Engineering và hạ tầng. Việc nghiên cứu thuật toán, xây dựng dữ liệu huấn luyện và trực tiếp thực hiện fine-tuning thuộc trách nhiệm của team nghiên cứu mô hình.
TRÁCH NHIỆM CHÍNH
Triển khai và vận hành LLM (LLM Serving & Operations)
• Triển khai, cấu hình và vận hành các mô hình LLM mã nguồn mở như Qwen, DeepSeek, Llama và các mô hình tương đương trên hạ tầng GPU on-premise.
• Xây dựng môi trường LLM Serving sử dụng vLLM, SGLang, TensorRT-LLM, Hugging Face TGI hoặc công nghệ tương đương.
• Tối ưu inference với Continuous Batching, KV Cache Optimization, Quantization, Tensor Parallelism và kỹ thuật phù hợp với từng mô hình.
• Benchmark mô hình theo Throughput, Tokens/second, Time to First Token (TTFT), Time per Output Token (TPOT), Latency và Concurrency.
• Tối ưu GPU, VRAM và bộ nhớ hệ thống nhằm nâng cao hiệu suất, khả năng phục vụ đồng thời và hiệu quả đầu tư hạ tầng.
• Triển khai Load Balancing, Request Queuing, Rate Limiting, Model Routing và kiểm soát tài nguyên phục vụ nhiều nhóm người dùng.
• Xây dựng quy trình triển khai, nâng cấp, chuyển phiên bản, Canary Deployment và Rollback, hạn chế gián đoạn dịch vụ.
• Phối hợp với các team ứng dụng để cung cấp và tích hợp API LLM phục vụ nhu cầu nội bộ.
Xây dựng nền tảng phục vụ Fine-tuning (Training Platform & LLMOps Pipeline)
• Thiết kế, triển khai và duy trì môi trường thực thi các tác vụ huấn luyện và fine-tuning LLM trên GPU on-premise.
• Xây dựng workflow hỗ trợ vòng đời huấn luyện: quản lý phiên bản dataset; cấu hình training job; điều phối GPU; theo dõi metrics/experiments; quản lý checkpoint và artifacts; tích hợp kết quả đánh giá và quy trình phê duyệt; phát hành mô hình lên serving.
• Triển khai Experiment Tracking, Model Registry, Artifact Storage và Workflow Orchestration như MLflow, Weights & Biases, Kubeflow, Ray hoặc tương đương.
• Tích hợp môi trường huấn luyện sử dụng PyTorch, Hugging Face Transformers, PEFT, DeepSpeed, FSDP hoặc framework tương đương.
• Hỗ trợ team nghiên cứu xử lý GPU Out-of-Memory, lỗi Distributed Training, lỗi môi trường, checkpoint recovery và tối ưu tài nguyên.
• Đảm bảo Reproducibility và truy xuất nguồn gốc phiên bản dataset, code, cấu hình, checkpoint và mô hình.
• Chuẩn hóa bàn giao mô hình từ nghiên cứu sang production: kiểm tra tương thích, hiệu năng, tài nguyên và khả năng rollback.
• Tự động hóa triển khai, kiểm thử và phát hành mô hình để giảm thao tác thủ công.
GPU Platform & Reliability Engineering
• Triển khai và quản lý GPU workload trên Linux, Docker, Kubernetes hoặc nền tảng điều phối tương đương.
• Giám sát GPU Utilization, VRAM, GPU Interconnect và hiệu năng workload; phối hợp với hạ tầng về capacity planning, CUDA, driver và runtime dependencies.
• Xây dựng Monitoring, Logging, Metrics, Tracing và Alerting cho cả LLM Serving và Training.
• Theo dõi Availability, Error Rate, Latency, Throughput, Queue Length, Token Usage và mức độ sử dụng tài nguyên.
• Phát hiện và xử lý sự cố hiệu năng, quá tải, deployment và môi trường huấn luyện; thực hiện RCA, phòng ngừa tái diễn.
• Xây dựng High Availability, Fault Tolerance, Backup/Recovery và Disaster Recovery phù hợp với yêu cầu dịch vụ.
• Phối hợp với team hạ tầng về GPU Networking, Storage Performance và mở rộng năng lực tính toán.
LLM Platform Automation, Security & Governance
• Xây dựng CI/CD pipeline cho triển khai, kiểm thử, cập nhật và phát hành mô hình LLM; áp dụng Infrastructure as Code.
• Triển khai/tích hợp LLM Gateway như LiteLLM để quản lý model endpoint, authentication, quota, rate limiting và usage tracking.
• Quản lý Model Registry, Model Versioning, Artifact Storage và kiểm soát vòng đời mô hình.
• Triển khai RBAC, Secrets Management, API Authentication, Audit Logging và phân tách quyền truy cập.
• Đảm bảo tuân thủ chính sách an toàn thông tin, bảo vệ dữ liệu và quản trị nội bộ.
• Viết tài liệu thiết kế kỹ thuật, hướng dẫn triển khai, vận hành và xử lý sự cố (Runbook).
• Nghiên cứu và thử nghiệm công nghệ mới nhằm cải thiện hiệu năng, độ ổn định và tự động hóa.
QUYỀN LỢI
• Thu nhập cạnh tranh, thỏa thuận theo năng lực và kinh nghiệm.
• Trực tiếp triển khai, tối ưu và vận hành các LLM hiện đại trên GPU on-premise.
• Cơ hội nghiên cứu LLM Serving, MLOps, GPU Computing và Distributed Training.
• Tham gia xây dựng nền tảng AI/LLM dùng chung phục vụ nhiều nhóm nội bộ.
• Review lương định kì tháng 3 hàng năm
• Bảo hiểm sức khỏe và tai nạn cá nhân của Bảo Việt
• Khám sức khỏe định kì hàng năm
• Chế độ hỗ trợ đặc biệt dành cho nhân viên nữ trong thời gian nghỉ thai sản.
• Giải thưởng ghi nhận năng lực, các đóng góp nổi bật kịp thời
• Được tài trợ 100% đối với các chứng chỉ xếp hạng chuyên môn quốc tế chuyên sâu theo từng vị trí (trong trường hợp vận may chưa tới, đừng lo, VCS sẽ hỗ trợ 50% chi phí thi tuyển), khen thưởng đột xuất với CBNV đạt chứng chỉ chuyên môn quốc tế
• Liên tục đầu tư học liệu mới nhất, cập nhật nhất trên thị trường về lĩnh vực ATTT từ các nhà cung cấp, các học viện/uy tín hàng đầu thế giới
• 100% cán bộ nhân viên được cấp tài khoản Elearning từ Udemy - học thỏa sức mọi lúc mọi nơi
• Miễn phí tham gia các chương trình chia sẻ kiến thức chuyên ngành, các hội thảo chuyên môn từ các diễn giả đầu ngành trong nước và quốc tế
• Có cơ hội làm việc với khách hàng đa dạng trong nước và quốc tế
• Làm việc tại văn phòng Hạng A - tòa Landmark 72 với tổ hợp không gian xanh và khu vực riêng dành cho gym, giải trí (chơi Bi-a, Pes, Café, Đọc sách)
• Thư giãn 30 phút mỗi ngày với hoạt động Happy hours (16h-16h30)
• Các hoạt động thể thao: Bơi, Pickleball, Bi-a, Pocker, Pes, v.v
• Mười hai (12) ngày phép hàng năm theo Luật Lao Động, ba (3) ngày nghỉ mát và một (1) ngày lễ truyền thống 22/12 của Viettel.
• Tổ chức sinh nhật cá nhân: quà và bánh sinh nhật từ phía Công ty
• Tham gia các event Công ty: hoạt động Teambuilding hàng quý, sinh nhật hàng tháng, Year End Party, nghỉ mát, ngày lễ [protected info] (các chị em được nghỉ 1⁄2 ngày), ngày sinh nhật tập đoàn 01/06, v.v
• Quan tâm bố mẹ, con cái của nhân viên vào các dịp đặc biệt.