| AB实验部署时间 | 详情 | AUC对比 | 状态 | 备注 |
|---|
| 2021-12-03 | 【找靓机主搜cvr特征优化实验】 实验名Default.rankctr.rankcvr1203 上线人子豪
改动点删除容量相关的所有组特征 | 线上 exp auc=0.667300 | 已下线 | 模型详情文档006【[cvr1203]20211203类目重构项目】 |
| 2021-12-17 | 【CVR20211217类目重构】
- 新增了非设备交叉的类目点击率特征
- 没有降采样归因周期为1排除了pop 的商品
- 取消了order>0 or pay>0的限制条件
实验正向明显但是因为AUC较低所以没有进行全量
- 实验名Default.rankctr.base_rankcvr1217
| 离线 exp auc=0.70675 离线 base auc=0.68279 | 已下线 | 实验订单正向很明显但是AUC偏低所以没有上线进行线下实验打磨 文档007【(ctr/cvr1217)CTR/CVR20211217类目重构】 |
| 2021-12-17 | 【CTR类目重构】 重上容量特征&新增类目点击率特征
| 线上base auc=0.58818 , 线上exp auc=0.653824 离线exp auc=0.6794 离线base auc=0.6542 | 全量 | 文档007【(ctr/cvr1217)CTR/CVR20211217类目重构】 |
| 2022-01-10 | 【CVR AUC低问题定位】
| 离线base auc=0.6937535 离线exp auc=0.7154 | 已下线 |
- CVR项目复盘
- 因为在实验两三天以后发现线上特征缺失de_model_capacity_cvr,model_capacity_price_level_cvr, de_sku_cvr, sku_price_level_cvr 没有加。
- 下线进行修复
|
| 2022-01-17 | 【CVR0117 线上特征缺失问题】 找靓机CVR重上容量特征&新增类目点击率特征解决cvr0110版本线上特征缺失问题
- 实验时间2021-01-19
- 改动点去除pop商品没有降采样使用归因周期为3。补上了上版缺失的4个特征de_model_capacity_cvr, model_capacity_price_level_cvr, de_sku_cvr, sku_price_level_cvr 。
- 实验名Default.rankcvr.base_rankcvr0117
- 节前快放假没有上线放到节后上
|
- 离线评估base: 0.7023877、exp: 0.709976
| 已下线 | 【找靓机】CVR新增容量相关特征和类目点击率特征】 tapd地址 |
| 2022-02-07 | 【CTR新增Query特征】
- 实验名Default.rankctr.base_rankctr0120
- 实验表现正向一两天负向一天周末负向波动不稳定进行下线
- 改动点增加query_cate1id_ctr、query_cate2id_ctr、query_cate3id_ctr三个特征。
- 实验数据归因一天去除pop商品未采样。
- 上线过程该实验2021-01-20上线因为快到春节放假所以下线后放到了节后第一天上线。
- checkpoint: checkpoint_path='/home/algo/wangyongpeng/project/zlj_rank_0519/ctr_code/models/20220105/20220108add_query_epoch2001_08-16_07_58/model.ckpt-704520'
| 离线 base auc=0.67159414 离线 exp auc=0.6835 线上 base auc=0.661266326 线上 exp auc=0.676718027 | 已下线 | 虽然订单不能持续的正向但是线上auc始终是正向的。 |
| 2022-02-21 | 【找靓机】CVR类目重构验证POP商品加入的影响
- 实验名Default.rankcvr.base_rankcvr0221
- 改动点增加了pop商品没有降采样使用归因周期为3测试集也为归因为3
- 训练集44623147
- order正:负样本数 =813095:43810052 = 1:53.9
- pay正:负样本数=140503:44482644 = 1:316.6
| 离线 exp auc = 0.7879 | 已下线 | tapd地址 |
| 2022-03-08 | 【CTR 新增query特征实验】
| 离线 exp auc=0.7043 离线 base auc=0.6874 线上 exp auc=0.6731829768 线上 base auc=0.6508156071 | 全量 | |
| 2022-03-16 | 【CTR模型新增卖家效率特征】
- 实验名Default.rankctr.rankctr0316
- 改动点新增如下3个特征。
sellerCtrpv, sellerOprpv, sellerOpruv
- 训练数据抽取2022-02-01日、训练集90天、测试3天不包含pop商品
- check_point:/wangyongpeng/project/zlj_rank_0519/ctr_code/20220222_add_seller/models/20220309add3_ctrpv_oprpv_opruv/model.ckpt-447117
- 实验配置文档
- 缓存读写任务
| 离线base auc=0.7053 离线exp auc=0.7055 线上base auc=0.673811 线上 exp auc=0.671448 | 下线 | |
| 2022-03-16 | 【找靓机CVR模型类目重构】
- 目的调整归因周期、pop商品、采样率对模型的影响
- 改动点采用归因为1去除pop商品采样率0.7
- 数据: --job Cvr --dt "2022-02-15" --trainDays 90--testDays 3
- check_point: /wangyongpeng/project/zlj_rank_0519/cvr_code/20220301cvr_fix/models2/20220315_9train_period1_type1_ds07_AB/model.ckpt-13056
| 离线base auc=0.6667744 离线exp AUC = 0.70024294 线上base pay auc=0.626638 线上 exp pay auc=0.650780 线上base order auc=0.488246 线上exp order auc=0.524228 | 全量 全量时间2022-03-23 | 文档010【CVR问题因素排查专项】 |
| 2022-03-xxx | 【找靓机CVR新增query特征】
- 改动点归因周期为1去除pop采样率0.7
- 数据--job Cvr--dt "2022-03-09" --trainDays 100--testDays 3
- check_point: /wangyongpeng/project/zlj_rank_0519/cvr_code/20220214add_query/models/20220321addquery_and_add_ds07/model.ckpt-130560
| 离线base auc=0.71540296 离线exp AUC = 0.7168716(+0.2%) 线上base coopr_pay_auc=0.637 线上 exp coopr_pay_auc= 0.667 线上base coopr_order_auc=0.5275 线上 exp coopr_order_auc=0.5639 ------------- CVR 23号 base_auc = 0.6430047, exp_auc = 0.683887
CVR 24号 base_auc = 0.6419728, exp_auc = 0.674858
CVR 25号 base_auc = 0.6312821, exp_auc = 0.658829
CVR 26号 base_auc = 0.6318003, exp_auc = 0.650590 平均base = 0.637014975, exp = 0.667041 | 全量 | |
| 【找靓机CVR特征拆分为cor/opr特征】
| 离线AUCclick_pay_auc=0.7195(+0.0215) | | |
| 【找靓机CTR引入优品价格特征】
|
- 离线实验组auc=0.6927+0.0006
- 线上base auc = 0.6603, 线上exp auc = 0.65967-0.00063
- 预计日均订单和提袋率-22.4 , -2.81%
| | |
| 【找靓机CTR引入优品价格特征】 再次实验
- 训练总量440066269
- 正负样本比28539534:x = 1:14.4
| exp auc=0.6726(+0.0007), base auc=0.6719 | | |
| 【找靓机CTR引入新构造SKU特征】
- 改动点使用新构造的sku(model_id_quality_id_capacity_id)
- 数据量train =1716962202
| | | |
| | | | |
