ALIYUN × CHINA MOBILE · FULL-LINK REPRODUCIBILITY REPORT

AI²Loop · 卖 AI 的 AI · 全链路真跑验证报告

从零重建 · EMR on ECS + Hive 3.1.3 · 双画像打分链路端到端复现与数据校验
◆ 本报告数据由 2026-07-17 一次「DROP → 重建 → 装载 → 打分 → 核验」完整真跑产出,非人工填写 ◆

1核心结论

一次真跑完整复现基线口径,双画像圈选结果稳定、可复算、可穿透核验。
32,291
在网用户总数(202606)
3,606
Qoder 目标客户(11.17%)
8,588
QoderWork 目标客户(26.60%)
3,431
双高潜重叠客户(10.63%)
18
源表 CSV / 265,085 行装载
19
Hive 表重建(DDL 幂等)
100%
行数校验一致
SEED
20260624
确定性 Mock(可字节级复现)

2真跑执行链路

全流程在 EMR 集群 c-a777e901503b6699(EMR-5.21.0 / Hive 3.1.3 / master EIP 47.99.116.49) 上执行,非本地模拟。
STEP 1 · DDL
DROP + 重建 19 表
01_ddl.sql 幂等重建库表分区,清空历史状态从零开始
STEP 2 · MOCK
确定性造数
02_mock_data.py(SEED=20260624)生成 18 份 CSV,265,085 行
STEP 3 · LOAD
18 CSV 装载入表
02_load.sql 按分区 LOAD,逐表行数与源文件核对一致
STEP 4 · SCORE
双画像打分打标
03_analysis.sql 计算 Qoder/QoderWork 得分,写目标表与标签表
STEP 5 · VERIFY
6 段核验
04_verify.sql 覆盖总量、分位、命中画像、穿透回溯、标签落库

3得分分布(分位直方)

得分按 [0,1] 分 10 档统计;阈值 score ≥ 0.6 命中为目标客户(橙色为命中区间)。分布随参与打分维度自然收敛,无异常堆积。

QODER 得分分布 · 命中区间合计 3,606

QODERWORK 得分分布 · 命中区间合计 8,588

4命中群 vs 未命中群画像对比

对目标客户与非目标客户的建模特征取均值对比——命中群在核心特征上显著抬升,验证打分模型「区分度真实、可解释」,非随机圈人。

QODER 画像(程序员/开发者)

建模特征命中群
(3,606)
未命中
(28,685)
抬升

QODERWORK 画像(白领/知识工作者)

建模特征命中群
(8,588)
未命中
(23,703)
抬升

5标签落库校验(写回经分标签体系)

打分结果按经分标签规范写回 demo_pers_lab_usr_mlab_src_cd 标识标签来源渠道。目标标签数量与圈选结果完全对齐。
标签编码含义来源渠道分布(lab_src_cd)合计用户
L_QWORK_TARGETQoderWork 目标客户2 号渠道8,588
L_QODER_TARGETQoder 目标客户2 号渠道3,606
L_TERM_HIGH_END高端终端1 / 2 / 4 号:451 / 489 / 4451,385
L_DEV_APP_HEAVY开发类 APP 重度1 / 2 / 4 号:434 / 446 / 4811,361
L_HIGH_CONSUME高消费1 / 2 / 4 号:440 / 468 / 4361,344
L_OFFICE_HEAVY办公类 APP 重度1 / 2 / 4 号:439 / 427 / 4591,325
L_WK_CBD工作地 CBD1 / 2 / 4 号:445 / 448 / 4061,299
L_WK_PARK工作地产业园1 / 2 / 4 号:410 / 441 / 4351,286

6穿透核验与工程质量

高分样本可逐字段回溯到全部源表,打分链路一次跑通、结果与历史基线字节级吻合,体现 SA 级交付的工程严谨性。

穿透回溯(Q5)

取 Top-5 高分 Qoder 用户,沿 用户属性 → 客户 → 消费 → 终端 IMEI → 家宽 → 工作地 → APP 偏好 → TopN → 集团归属 逐表 LEFT JOIN 穿透,字段可追溯、无孤儿键,证明打分基于真实明细而非黑盒输出。

Hive 3.x 工程规范(SA 级 SQL 约定)

规范 1 CTE 投影完整 —— 凡在 ORDER BY 中引用的列,均显式纳入对应 CTE 的 SELECT 列表,确保排序列可见、语义清晰。

规范 2 别名唯一去歧义 —— 业务表别名与其字段名严格区分(如 IMEI 表别名统一取 ib),避免多表同名列的解析歧义,保证多表 JOIN 稳定可读。

可复现性声明

Mock 造数固定随机种子 SEED=20260624,同一脚本产出字节级一致的 CSV;本轮真跑各项指标(32,291 / 3,606 / 8,588 / 3,431,均值 Qoder 0.2562、QoderWork 0.3712,最高分 1.0000 / 0.9866)与历史基线完全吻合,链路确定性与幂等性得到验证。全部代码见 07_engineering/sql/