Kho dữ liệu công dân · đề xuất lên môi trường thật

Có nên làm tiếp lên prod không?

Trang này tóm tắt hệ thống đã làm được gì, còn thiếu gì, rủi ro nào cần biết và cần bao nhiêu máy, bao nhiêu ngày công.

Hệ thống làm gì

Hệ thống chép dữ liệu công dân (khoảng 110 triệu hồ sơ) từ nền tảng của nhà cung cấp về một kho riêng của mình, làm sạch, tổng hợp theo tuần, rồi cho cán bộ tra cứu và xem báo cáo. Chỉ đọc từ nhà cung cấp, không sửa gì bên họ, và chạy trong mạng kín không ra internet.

Luồng dữ liệu Elasticsearch của nhà cung cấp chép sang kho S3, nạp vào ClickHouse qua ba lớp raw, silver, gold, rồi ra web tra cứu, báo cáo tuần và dashboard. ES của nhà cung cấp chỉ đọc Kho S3 file Parquet theo ngày trích hằng tuần ClickHouse raw bản gốc từng lần trích silver hồ sơ đã làm phẳng gold tổng hợp theo tuần Web tra cứu đăng nhập, che số, ghi vết Báo cáo tuần HTML và PDF Dashboard bản đồ theo tỉnh

Đã làm

Số đã kiểm trên môi trường thử, dữ liệu giả

Bài kiểm tự động (pytest)
271 đạt
Kiểm dữ liệu (dbt)
122/122 đạt
Tìm theo tên, 110 triệu hồ sơ
0,25–0,55 giây
Tìm theo số giấy tờ
< 1 giây
Đối chiếu số hồ sơ với nguồn
Khớp cả 3 tuần

Tìm tên trước đây mất 13–22 giây. Xuất 1.000 dòng CSV với tên rất ngắn (ví dụ "an") mất khoảng 5,4 giây. Bản demo này chỉ có khoảng 1.000 hồ sơ nên không nói gì về tốc độ; các số trên là số đo thật trên 110 triệu hồ sơ giả.

Chưa làm, đang chờ

Rủi ro cần biết

Gán nhầm quyền là lộ dữ liệu cả nước

Cán bộ chỉ xem đủ hồ sơ tỉnh mình nhờ một vai trò gán trong WSO2. Gán nhầm vai trò "toàn quốc" cho một người là người đó xem đủ mọi hồ sơ. Chỉ quản trị WSO2 được gán, và cần có người rà soát định kỳ.

Tìm theo số có thể bị dùng để dò số giấy tờ

Ai được phép tìm có thể thử rất nhiều số để biết số nào có thật. Mọi lượt tìm đều được ghi lại, nhưng chưa có cảnh báo tự động. Cần người xem nhật ký, hoặc làm thêm cảnh báo.

Tỉnh của hồ sơ có thể suy từ chữ do người nhập

Khi địa chỉ không có mã tỉnh hợp lệ, hệ thống đọc tên tỉnh trong dòng địa chỉ. Quê quán hay nơi sinh cũng có thể quyết định cán bộ tỉnh nào xem đủ. Ba quy tắc chất lượng đo mức độ này; phải xem kết quả ở lần chạy đầu trên dữ liệu thật.

Giả định về mã địa chỉ chưa kiểm trên dữ liệu thật

Cách hiểu mã địa chỉ mới dựa trên dữ liệu giả. Trên dữ liệu giả, khoảng 31% hồ sơ không khớp. Nếu trên dữ liệu thật gần 100% không khớp thì giả định sai và phải sửa.

Bản WSO2 thật chưa biết

Có thể mất thêm công cấu hình nếu bản thật khác bản đã thử.

Lịch sử các tuần chỉ nằm ở bảng tổng hợp

Không dựng lại được một tuần đã qua từ dữ liệu gốc. Mất bảng tổng hợp là mất lịch sử, nên sao lưu có mã hóa là bắt buộc, kể cả nhật ký truy cập.

Thu hồi quyền có hiệu lực chậm

Người bị thu quyền ở WSO2 vẫn dùng được web tối đa 8 giờ, trừ khi họ đăng xuất hoặc web khởi động lại.

Nhà cung cấp xóa hồ sơ không báo

Hệ thống phát hiện bằng lần quét hằng tuần, nên hồ sơ đã xóa có thể còn hiện tối đa một tuần.

Ước lượng để lên prod ước lượng

Mọi số dưới đây là ước lượng, suy từ số đo trên máy thử. Chưa có thông tin máy chủ thật nên cần đội hạ tầng xác nhận.

Máy chủ

Thành phầnCPURAMĐĩaGhi chú
ClickHouse16 lõi64 GB1 TB NVMeMáy nặng nhất. Máy thử chỉ có 3 GB nên không phản ánh.
Kho S34 lõi8 GB300 GBCó thể dùng kho S3 sẵn có của đơn vị.
Web tra cứu2 lõi4 GB20 GBMột tiến trình. Cần tên miền riêng và chứng chỉ TLS.
Airflow (kèm CSDL)4 lõi8 GB100 GBDựng báo cáo PDF cần trình duyệt không giao diện.
WSO2 Identity Server4 lõi8 GB50 GBCần thêm CSDL ngoài (2 lõi, 4 GB, 50 GB), có sao lưu.

Cách tính đĩa cho ClickHouse

  1. Đo thật: 110 triệu hồ sơ giả làm đĩa ảo của máy thử phình khoảng 43 GB (gồm cả bản gốc, silver, gold và dữ liệu tạm). Lấy 43 GB làm nền.
  2. Mỗi tuần thêm: lấy theo máy thử, khoảng 4,5% hồ sơ đổi mỗi tuần, tức khoảng 5 triệu hồ sơ. Bảng gốc giữ nguyên mỗi lần trích, ước 0,2 KB mỗi hồ sơ: 5 triệu × 0,2 KB ≈ 1 GB.
  3. Trong 2 năm (104 tuần): 104 × 1 GB ≈ 104 GB bảng gốc.
  4. Nhật ký thay đổi từng trường: giả định mỗi hồ sơ đổi 3 trường, mỗi dòng 50 byte: 5 triệu × 3 × 50 B ≈ 0,75 GB mỗi tuần, 104 tuần ≈ 78 GB.
  5. Cộng lại: 43 + 104 + 78 ≈ 225 GB. Nhân đôi để có chỗ cho gộp dữ liệu nền và bản sao lưu tạm: khoảng 450 GB. Đề nghị cấp 1 TB cho dư.
  6. Kho S3: một lần trích đầy đủ khoảng 20 GB cộng các lần trích hằng tuần khoảng 104 GB, tổng khoảng 125 GB; đề nghị 300 GB kèm bản sao lưu.

Các giả định 4,5% mỗi tuần (số của dữ liệu giả, máy thử đổi 1–4,5% mỗi tuần), 0,2 KB và 3 trường là chỗ không chắc nhất. Tỷ lệ đổi thật của nhà cung cấp chưa biết; đổi nhiều hơn thì đĩa tăng theo tỷ lệ.

Việc phải làm và số ngày công

ViệcNgày côngĐiều kiện
Chạy bộ cài trên Linux thật, sửa lỗi phát sinh3–5Có máy chủ
Gói cài cho mạng kín (ảnh container, thư viện, kiểm tra)3–4Biết quy trình đưa phần mềm vào mạng kín
Cài WSO2 thật, tạo 35 vai trò địa bàn, ứng dụng, tài khoản4–6Biết bản WSO2 và có quản trị
Tài khoản ClickHouse, TLS, sao lưu có mã hóa4–5Có máy chủ, quy định sao lưu
Chạy lần đầu trên dữ liệu thật, rà các quy tắc chất lượng (như quy tắc mã địa chỉ mới)5–8Được cấp quyền đọc dữ liệu thật
Cộng các việc trên19–28Khoảng 4–6 tuần cho một người
Đối soát Scylla8–12Khi nhà cung cấp gửi mô tả bảng
Giai đoạn 4: sửa hồ sơ, ghi ngược20–40Rất thô, phụ thuộc câu trả lời của nhà cung cấp