AB實驗：科學歸因與增長的利器

前言

第一部分瞭解AB實驗
第1章AB實驗的基本原理和應用002
1.1什麼是AB實驗002
1.1.1AB實驗的定義002
1.1.2AB實驗的類型004
1.2AB實驗的3個基本要素005
1.2.1實驗參與單元005
1.2.2實驗控制參數007
1.2.3實驗指標008
1.3AB實驗的2個核心價值009
1.3.1定性因果：驗證因果關係，確保方向正確009
1.3.2定量增長：實踐資料驅動，精細成本收益012
1.4AB實驗的2個關鍵特性015
1.5AB實驗行業應用016
1.5.1AB實驗應用場景016
1.5.2AB實驗應用案例018

第二部分深入AB實驗
第2章AB實驗的關鍵問題026
2.1實驗參與物件的3個問題027
2.2實驗隨機分流的3個問題027
2.3實驗指標的2個問題028
2.4實驗分析和評估的3個問題028
第3章AB實驗的統計學知識031
3.1隨機抽樣和抽樣分佈032
3.2區間估計和置信區間037
3.3樣本容量和邊際誤差038
3.3.1均值類指標038
3.3.2比率類指標040
3.4假設檢驗041
3.4.1為什麼需要假設檢驗041
3.4.2如何進行假設檢驗042
3.4.3類錯誤、第二類錯誤和功效047
3.4.4如何計算功效049
3.5非參數檢驗051
3.6方差估計問題052
3.6.1變化差和相對差的方差估計053
3.6.2比率類指標的方差估計054
3.6.3其他指標的方差估計055
3.6.4異常點對方差估計的影響055
3.7多重測試問題056
3.7.1什麼是多重測試問題056
3.7.2如何避免多重測試056
3.7.3如何控制多重測試問題058
第4章AB實驗參與單元061
4.1實驗參與單元的選擇061
4.1.1常見的實驗參與單元062
4.1.2實驗參與單元細微性與實驗評估066
4.1.3使用者級別的實驗參與單元067
4.2實驗參與單元的SUTVA問題070
4.2.1什麼是SUTVA070
4.2.2為什麼需要讓SUTVA成立071
4.2.3導致SUTVA不成立的原因073
4.2.4如何解決SUTVA不成立的問題075
4.3小實驗參與單元數量079
第5章AB實驗的隨機分流083
5.1單層分流模式083
5.2正交分層模式084
5.2.1正交性問題085
5.2.2分層問題087
5.3散列演算法089
第6章AB實驗的SRM問題092
6.1什麼是SRM問題092
6.2導致SRM問題的原因093
6.2.1部署階段093
6.2.2執行階段097
6.2.3資料處理和分析階段098
6.3SRM指標計算和定位099
6.3.1SRM指標計算099
6.3.2定位SRM問題099
第7章AA實驗101
7.1AA實驗的意義101
7.1.1控制類錯誤102
7.1.2確保用戶同質104
7.1.3資料指標對齊105
7.1.4估計統計方差106
7.2如何運行AA實驗108
7.2.1什麼時候運行AA實驗108
7.2.2AA實驗失敗的常見原因110
第8章AB實驗的靈敏度112
8.1什麼是實驗靈敏度112
8.2如何提升實驗靈敏度113
8.3選擇指標114
8.3.1選擇方差較小的評估指標114
8.3.2標準化評估指標115
8.4選擇實驗參與物件116
8.4.1採用細細微性的單元隨機化物件116
8.4.2使用觸發分析116
8.5選擇實驗分組117
8.5.1使用分層、控制變數或CUPED方法117
8.5.2設計配對實驗119
8.6定向觸發技術和評估119
8.6.1觸發的方式120
8.6.2觸發範圍變化121
8.6.3觸發實驗的分析123
8.6.4觸發檢驗125
8.6.5觸發技術的局限性125
8.7如何驗證實驗靈敏度的提升127
第9章AB實驗的長期影響129
9.1長短期影響不一致的原因130
9.2評估長期影響的意義133
9.3如何評估長期影響134
9.3.1長週期實驗134
9.3.2保留實驗和反轉實驗136
9.3.3後期分析法137
9.3.4時間交錯實驗法139
9.3.5固定群組分析法140
9.3.6長期影響的代理指標法141

第三部分AB實驗評估指標體系
第10章產品指標體系145
10.1什麼是指標體系145
10.2設計指標146
10.2.1基於OKR的分級法147
10.2.2OSM模型法153
10.2.3指標設計和開發技巧154
10.3評估指標156
10.3.1信息增益156
10.3.2因果關係158
10.3.3長期有效性158
10.4進化指標159
10.5指標分類162
10.6指標體系設計案例165
第11章實驗評估指標體系169
11.1實驗評估指標的3個基本條件169
11.2選擇好的實驗評估指標170
11.2.1綜合指向性與靈敏性170
11.2.2從業務視角出發172
11.2.3考慮應用和工程174
11.3將關鍵指標合併為OEC175
11.3.1如何建立OEC176
11.3.2OEC的關鍵屬性179
11.3.3構建OEC的注意事項179
11.3.4構建OEC的案例180

第四部分AB實驗的基礎建設
第12章開展AB實驗的基礎條件187
12.1決策層認知187
12.2基礎工具建設188
12.2.1購買外部服務189
12.2.2自建平臺190
12.3文化制度建設191
第13章AB實驗平臺的建設192
13.1AB實驗平臺架構193
13.2實驗管理功能194
13.2.1實驗創建管理195
13.2.2實驗配置管理196
13.2.3實驗操作管理197
13.2.4實驗許可權管理198
13.3實驗部署功能199
13.3.1流量分配大小200
13.3.2流量分配時機202
13.3.3實驗放量節奏203
13.3.4不同類型實驗的部署205
13.3.5實驗部署中的其他問題209
13.4實驗資料處理和分析211
13.4.1資料來源212
13.4.2資料處理214
13.4.3指標定義和資料計算215
13.4.4數據視覺化219
13.4.5資料分析221
13.5AB實驗服務通用框架221
第14章實驗組織和文化建設224
14.1決策層的支持與參與226
14.2實驗專家團隊的帶領與教育228
14.3業務團隊實驗骨幹的深入與傳遞229
14.4全體參與和擴大影響231
14.5AB實驗的開展情況233
14.6實驗成熟度模型236

第五部分基於AB實驗的增長實踐
第15章構建想法：形成產品假設240
15.1產品策劃找方向240
15.2資料洞察找瓶頸245
第16章驗證想法：AB實驗實踐252
16.1實驗假設252
16.1.1目標性252
16.1.2可歸因253
16.1.3可複用254
16.2實驗設計255
16.2.1實驗樣本選擇255
16.2.2實驗指標設計257
16.2.3實驗流量計算258
16.2.4實驗週期預估260
16.3實驗運行261
16.3.1實驗上線261
16.3.2實驗停止263
16.3.3實驗放量265
16.4實驗分析和理解266
16.4.1明確實驗影響範圍266
16.4.2確保實驗對比人群具有可對比性270
16.4.3實驗影響評估：先總後分、從主到次272
16.4.4通過維度細分發現問題273
16.4.5理解實驗統計學含義275
16.4.6解讀數據背後的產品邏輯277
16.5實驗決策278
16.5.1從分析到決策278
16.5.23種實驗結果282
16.5.3實驗報告284
第17章沉澱想法：實驗記憶285
17.1什麼是實驗沉澱285
17.2實驗沉澱的價值286
17.2.1發現策略通用性286
17.2.2從失敗中尋找機會289
17.2.3發揚實驗文化290
17.2.4幫助理解指標290
17.3如何進行實驗沉澱291
第18章基於AB實驗的增長實踐解決方案293
18.1角色分工方案295
18.2資料建設方案295
18.3效果評估方案297

第六部分AB實驗的局限與補充
第19章AB實驗的局限性303
19.1戰略創新層面303
19.2戰術執行層面305
第20章AB實驗之外的因果分析方法309
20.1匹配法310
20.1.1匹配法的基本步驟310
20.1.2傾向性得分方法313
20.2工具變數法314
20.2.1什麼是工具變數314
20.2.2案例1：教育、參軍對收入的影響316
20.2.3案例2：內容發佈者與使用者活躍度的關係317
20.3面板數據法317
20.4中斷時間序列法319
20.5中斷點回歸法320
20.6增益模型322
第21章常用的用戶調查分析方法325
21.1使用者日誌分析326
21.2調查問卷328
21.3焦點小組329
21.4用戶體驗研究330
21.5人工評測330
21.6外部資料332