Quản lý dữ liệu (readiness & chất lượng)

VuaNem Forecasting Pipeline

2026-07-30 17:30
Báo cáoquản lý dữ liệu (readiness & chất lượng)
Dùng đểĐảm bảo mọi dữ liệu liên quan đã được lấy, chuẩn hóa và kiểm định sẵn sàng trước khi pipeline chạy — cổng kiểm soát đầu vào của toàn hệ thống.
Câu hỏi trả lờiDM
Tạo lúc2026-07-30 17:30
Phương pháp tính (kỹ thuật)
Chế độ check (thụ động): đối chiếu trạng thái file nguồn/master/validation với chính sách trong data_management.yaml (required/optional, min_rows, SLA độ mới) để ra verdict READY/DEGRADED/BLOCKED và xuất data_readiness.json + báo cáo HTML. Chế độ prepare (chủ động, chạy qua run_pipeline.py --prepare-data hoặc trực tiếp): probe nguồn với retry + vòng chờ, chạy m0, kiểm định, rồi mới cho pipeline chạy.
sizing dung lượng→probe nguồn→m0 chuẩn hóa→validation gate→readiness verdict

Kết luận

Trạng thái dữ liệu: DEGRADED
Pipeline chạy được nhưng có cảnh báo (nguồn cũ / thiếu dữ liệu tùy chọn / lỗi validation nhẹ).
Nguồn dùng được
7
tổng 8 nguồn
Thực thể bắt buộc OK
6
tổng 6 bắt buộc
Lỗi validation
0
Vòng chờ đã dùng
0
attempts=3/nguồn

Connector Health — VuaNem Systems

Systems đã cấu hình
8
Sẵn sàng
0
credentials + data
Có credentials
0
Hệ thốngTần suấtTrạng tháiCredentialsProbeVolume ước tínhChủ sở hữu
Power BI — Sales Actuals
powerbi		Hàng ngàyThiếu credentials0/3 envfile ✓ 180 rows~5,000BI team (it2@vuanem.com)
Google Sheets — Kịch bản bán hàng (Sales Targets)
gsheet		Hàng thángThiếu credentials0/1 envfile ✓ 18 rows~50Purchasing department (PMH)
NetSuite ERP
netsuite		Hàng ngàyThiếu credentials0/5 envfile ✓ 14 rows~2,000IT Department (thanhson@gmail.
Google BigQuery
bigquery		Hàng ngàyThiếu credentials0/1 envfile ✓ 72 rows~1,200,000BI Team (it2@vuanem.com)
Lark (Feishu)
lark		Hàng tuầnThiếu credentials0/2 envfile ✓ 12 rows~350Phòng Mua Hàng (PMH)
CRM (Frappe-based)
crm		Hàng ngàyĐang lên kế hoạch0/3 envfile ✓ 0 rows~500IT & BI
Pancake (chat platform)
pancake		Hàng giờThiếu credentials0/2 env—~1,500CX / Sales / Marketing
ERP / NetSuite (customer purchase transactions)
customer_purchases		Hàng ngàyto be sourced0/1 env——BI / ERP team
Hành động
Thiếu credentials: Power BI — Sales Actuals, Google Sheets — Kịch bản bán hàng (Sales Targets), NetSuite ERP, Google BigQuery, Lark (Feishu), Pancake (chat platform) — kiểm tra env: POWERBI_TENANT_ID, POWERBI_CLIENT_ID, POWERBI_CLIENT_SECRET, GOOGLE_SERVICE_ACCOUNT_JSON, NETSUITE_ACCOUNT
Chưa triển khai: CRM (Frappe-based), ERP / NetSuite (customer purchase transactions) — hệ thống đã được mô tả nhưng chưa có dữ liệu

Dung lượng & kế hoạch nạp dữ liệu (sizing)

Tổng rows ước tính
302
Tổng dung lượng
13.4 KB
Thời gian nạp ~
0s
theo throughput cấu hình trong data_management.yaml → sizing
NguồnChế độConnectorRows ước tínhDung lượngThời gian nạp ~Ghi chú
actual_salesfilefile1808.0 KB0sincremental từ 2026-07-30
sales_targetsfilefile18650 B0s—
inventoryfilefile14487 B0s—
leadtimefilefile12492 B0s—
sku_metadatafilefile6324 B0s—
sales_historyfilefile723.4 KB0sincremental từ 2026-07-01
chat_messagesfilefilekhông rõ——thiếu file
crm_interactionsfilefile0154 B——
Kế hoạch nạp (history windows + incremental patching)
Full reload chỉ khi chạy m0 --full (hoặc ABN_FULL_RELOAD=1). Watermark lưu tại data/{company}/state/master_watermarks.json.
Thực thểChính sáchChi tiết
sales_transactionsincrementalupsert theo khóa ['date', 'sku_id', 'channel'] · watermark date · hiện tại: 2026-07-30 · overlap 3 ngày
sales_history_monthlyincrementalupsert theo khóa ['sku_id', 'channel', 'date'] · watermark date · hiện tại: 2026-07-01 · overlap 3 ngày

Trạng thái nguồn (fetch)

NguồnChế độAPIFileDùng
actual_salesfile—180 dòng
0.0h trước		file
sales_targetsfile—18 dòng
0.0h trước		file
inventoryfile—14 dòng
0.0h trước		file
leadtimefile—12 dòng
0.0h trước		file
sku_metadatafile—6 dòng
0.0h trước		file
sales_historyfile—72 dòng
0.0h trước		file
chat_messagesfile—không cónone
crm_interactionsfile—0 dòng
0.0h trước		file

Readiness theo thực thể

Thực thểVai tròSố dòngTối thiểuNguồnTrạng tháiGhi chú
sales_transactionsrequired18030actual_salesOK—
sales_history_monthlyrequired7212sales_historyOK—
inventory_snapshotsrequired111inventoryOK—
leadtime_moqrequired121leadtimeOK—
sku_catalogrequired61sku_metadataOK—
sales_targetsrequired181sales_targetsOK—
customer_profilesoptional61customer_profilesOK—
customer_matched_productsoptional61customer_matched_productsOK—
crm_interactionsoptional01crm_interactionsCảnh báochỉ 0 dòng (< min 1)
customer_segmentsoptional61—OK—
customer_criteria_tagsoptional61—OK—
customer_purchasesoptional01—Cảnh báokhông có dữ liệu
purchase_segmentsoptional3011—OK—
campaign_recommendationsoptional91—OK—
product_affinityoptional231—OK—