Quản lý dữ liệu (readiness & chất lượng)

VuaNem Forecasting Pipeline

2026-07-29 11:09

Báo cáo	quản lý dữ liệu (readiness & chất lượng)
Dùng để	Đảm bảo mọi dữ liệu liên quan đã được lấy, chuẩn hóa và kiểm định sẵn sàng trước khi pipeline chạy — cổng kiểm soát đầu vào của toàn hệ thống.
Câu hỏi trả lời	DM
Tạo lúc	2026-07-29 11:09
Dữ liệu đến ngày	2026-07-29

Phương pháp tính (kỹ thuật)

Chế độ check (thụ động): đối chiếu trạng thái file nguồn/master/validation với chính sách trong data_management.yaml (required/optional, min_rows, SLA độ mới) để ra verdict READY/DEGRADED/BLOCKED và xuất data_readiness.json + báo cáo HTML. Chế độ prepare (chủ động, chạy qua run_pipeline.py --prepare-data hoặc trực tiếp): probe nguồn với retry + vòng chờ, chạy m0, kiểm định, rồi mới cho pipeline chạy.

sizing dung lượng→probe nguồn→m0 chuẩn hóa→validation gate→readiness verdict

Kết luận

Trạng thái dữ liệu: DEGRADED

Pipeline chạy được nhưng có cảnh báo (nguồn cũ / thiếu dữ liệu tùy chọn / lỗi validation nhẹ).

Nguồn dùng được

tổng 8 nguồn

Thực thể bắt buộc OK

tổng 6 bắt buộc

Lỗi validation

Vòng chờ đã dùng

attempts=3/nguồn

Dung lượng & kế hoạch nạp dữ liệu (sizing)

Tổng rows ước tính

302

Tổng dung lượng

13.4 KB

Thời gian nạp ~

theo throughput cấu hình trong data_management.yaml → sizing

Nguồn	Chế độ	Connector	Rows ước tính	Dung lượng	Thời gian nạp ~	Ghi chú
actual_sales	file	file	180	8.0 KB	0s	incremental từ 2026-07-29
sales_targets	file	file	18	650 B	0s	—
inventory	file	file	14	487 B	0s	—
leadtime	file	file	12	492 B	0s	—
sku_metadata	file	file	6	324 B	0s	—
sales_history	file	file	72	3.4 KB	0s	incremental từ 2026-07-01
chat_messages	file	file	không rõ	—	—	thiếu file
crm_interactions	file	file	0	154 B	—	—

Kế hoạch nạp (history windows + incremental patching)

Full reload chỉ khi chạy m0 --full (hoặc ABN_FULL_RELOAD=1). Watermark lưu tại data/{company}/state/master_watermarks.json.

Thực thể	Chính sách	Chi tiết
sales_transactions	incremental	upsert theo khóa ['date', 'sku_id', 'channel'] · watermark date · hiện tại: 2026-07-29 · overlap 3 ngày
sales_history_monthly	incremental	upsert theo khóa ['sku_id', 'channel', 'date'] · watermark date · hiện tại: 2026-07-01 · overlap 3 ngày

Trạng thái nguồn (fetch)

Nguồn	Chế độ	API	File	Dùng
actual_sales	file	—	180 dòng 0.0h trước	file
sales_targets	file	—	18 dòng 0.0h trước	file
inventory	file	—	14 dòng 0.0h trước	file
leadtime	file	—	12 dòng 0.0h trước	file
sku_metadata	file	—	6 dòng 0.0h trước	file
sales_history	file	—	72 dòng 0.0h trước	file
chat_messages	file	—	không có	none
crm_interactions	file	—	0 dòng 0.0h trước	file

Readiness theo thực thể

Thực thể	Vai trò	Số dòng	Tối thiểu	Nguồn	Trạng thái	Ghi chú
sales_transactions	required	180	30	actual_sales	OK	—
sales_history_monthly	required	72	12	sales_history	OK	—
inventory_snapshots	required	11	1	inventory	OK	—
leadtime_moq	required	12	1	leadtime	OK	—
sku_catalog	required	6	1	sku_metadata	OK	—
sales_targets	required	18	1	sales_targets	OK	—
customer_profiles	optional	6	1	customer_profiles	OK	—
customer_matched_products	optional	6	1	customer_matched_products	OK	—
crm_interactions	optional	0	1	crm_interactions	Cảnh báo	chỉ 0 dòng (< min 1)
customer_segments	optional	6	1	—	OK	—
customer_criteria_tags	optional	6	1	—	OK	—
customer_purchases	optional	0	1	—	Cảnh báo	không có dữ liệu
purchase_segments	optional	301	1	—	OK	—
campaign_recommendations	optional	9	1	—	OK	—
product_affinity	optional	23	1	—	OK	—