- Quản trị Hạ tầng Container & Cloud:
- Thiết kế, triển khai và quản trị các cụm Kubernetes (K8s), đặc biệt là Amazon Elastic Kubernetes Service (EKS) hoặc Google Kubernetes Engine (GKE).
- Cấu hình và tối ưu hóa Autoscaling (Horizontal Pod Autoscaler - HPA, Cluster Autoscaler) để hệ thống tự động co giãn theo lưu lượng request, thực tế, đảm bảo chi phí tối ưu (Cost Optimization).
- Model Serving & Deployment:
- Đóng gói các mô hình AI/Deep Learning (Dockerizing) và triển khai lên môi trường Production.
- Lựa chọn và cấu hình các công cụ Model Serving hiệu năng cao (nhưTensorFlow Serving, TorchServe, Triton Inference Server) để tối ưu độ trễ (latency) và thông lượng (throughput).
- Xây dựng CI/CD cho ML:
- Xây dựng pipeline CI/CD (sử dụng Jenkins, GitLab CI, GitHub Actions...) cho việc huấn luyện (training), đánh giá (evaluation) và triển khai (deployment) mô hình tự động.
- Giám sát & Vận hành (Monitoring & Observability):
- Thiết lập hệ thống giám sát sức khỏe hạ tầng và mô hình (Prometheus, Grafana, ELK Stack).
- Theo dõi các chỉ số quan trọng: CPU/GPU usage, Memory, Latency, và Model Drift (sự suy giảm độ chính xác của mô hình theo thời gian).
- Hỗ trợ đội ngũ AI: Phối hợp với
AI Engineers để chuẩn hóa môi trường pháttriển, đảm bảo tính nhất quán từ Local đến Production.