Kỹ Sư Dữ Liệu - Thiết Kế Cấu Trúc Dữ Liệu Và API

1. Thiết kế cấu trúc dữ liệu cho sản phẩm và tính năng mới
1.1. Tham gia từ giai đoạn đầu của quá trình phát triển sản phẩm: tiếp nhận yêu cầu nghiệp vụ từ bộ phận Sản phẩm, phân tích các luồng đọc - ghi dữ liệu dự kiến và đề xuất mô hình dữ liệu phù hợp.
1.2. Thiết kế schema cho các collection mới: lựa chọn phương án embedding hoặc referencing, xác định ranh giới tài liệu, dự trù khả năng mở rộng và tăng trưởng dữ liệu theo thời gian.
1.3. Thiết kế chỉ mục đồng thời với schema; cân đối giữa hiệu năng đọc, hiệu năng ghi và dung lượng lưu trữ ngay từ giai đoạn thiết kế thay vì xử lý sau khi phát sinh sự cố.
1.4. Xây dựng và duy trì bộ quy ước thiết kế dữ liệu của Công ty: đặt tên collection, tên trường, kiểu dữ liệu, cấu trúc tài liệu chuẩn; bảo đảm tính nhất quán giữa các sản phẩm và giữa hai ứng dụng dành cho cấp Tiểu học và cấp Trung học.
1.5. Rà soát, thẩm định thiết kế dữ liệu do các nhóm phát triển đề xuất trước khi triển khai; đưa ra phản hồi và phương án cải tiến.
1.6. Xây dựng tài liệu mô tả cấu trúc dữ liệu (data dictionary, sơ đồ quan hệ giữa các collection) và bàn giao cho các nhóm phát triển.
2. Xây dựng và quản trị hệ thống API
2.1. Tiếp nhận và phân tích yêu cầu dữ liệu từ các bộ phận Sản phẩm, Nội dung, Kinh doanh và Vận hành; làm rõ nghiệp vụ và thống nhất phạm vi trước khi triển khai kỹ thuật.
2.2. Thiết kế và xây dựng mới các API cung cấp dữ liệu (RESTful API) phục vụ báo cáo nội bộ, tích hợp giữa các hệ thống của Công ty và tích hợp với đối tác.
2.3. Xây dựng và tối ưu các aggregation pipeline làm nền cho các API thống kê, báo cáo và phân tích dữ liệu học tập.
2.4. Bảo đảm các API đáp ứng yêu cầu về hiệu năng, phân trang, xử lý lỗi, xác thực, kiểm soát truy cập và giới hạn tần suất gọi.
2.5. Quản trị danh mục API hiện có: theo dõi tình trạng sử dụng, quản lý phiên bản, xử lý các yêu cầu thay đổi và thông báo tới các bên liên quan khi có điều chỉnh ảnh hưởng đến tích hợp.
2.6. Lập và duy trì tài liệu mô tả API; hướng dẫn sử dụng cho các nhóm phát triển nội bộ và đối tác.
2.7. Xử lý các sự cố liên quan đến dữ liệu trả về từ API; xác định nguyên nhân và triển khai biện pháp khắc phục.
3. Tối ưu truy vấn và cải tiến dữ liệu hiện hữu
3.1. Phân tích các truy vấn chậm được ghi nhận từ Query Profiler và Performance Advisor; sử dụng công cụ explain plan để đánh giá kế hoạch thực thi và đưa ra phương án xử lý.
3.2. Rà soát dữ liệu hiện hữu, phát hiện các vấn đề về cấu trúc (dữ liệu trùng lặp, tài liệu quá lớn, cấu trúc không đồng nhất, mảng tăng trưởng không giới hạn) và đề xuất phương án cải tiến.
3.3. Xây dựng và thực thi các script chuyển đổi dữ liệu (migration script) khi thay đổi cấu trúc; bảo đảm khả năng kiểm thử trên môi trường thử nghiệm và khả năng hoàn tác.
3.4. Rà soát mã nguồn truy cập cơ sở dữ liệu của các nhóm phát triển; phát hiện các mẫu truy vấn kém hiệu quả và tư vấn phương án thay thế.
3.5. Chuẩn bị phương án dữ liệu cho các giai đoạn có lưu lượng truy cập tăng đột biến (mùa thi, các đợt kiểm tra tập trung).
4. Phối hợp và tuân thủ
4.1. Đưa ra yêu cầu kỹ thuật cho Nhóm Hạ tầng về cấu hình cụm, dung lượng lưu trữ, chính sách lưu trữ dữ liệu dài hạn và các thay đổi có ảnh hưởng đến hiệu năng.
4.2. Phối hợp với Nhóm Hạ tầng trong việc phân tích nguyên nhân các sự cố cơ sở dữ liệu ở khía cạnh truy vấn và cấu trúc dữ liệu.
4.3. Bảo đảm cấu trúc dữ liệu và các API tuân thủ quy định pháp luật về bảo vệ dữ liệu cá nhân, đặc biệt lưu ý dữ liệu người dùng là học sinh.