我們常聽到 A/B 測試（以下簡稱 AB Test） 到底是什麼呢？這項實驗又該如何應用到工作中？
之前我對於 AB Test 的認知一直是很模糊的概念：反正就是把東西分成兩組來看他們的差別。直到最近工作上實際應用到 AB Test 之後才了解到具體該怎麼操作。
今天的文章要分享給大家：
- 為什麼要做 AB Test
- AB Test 是什麼
- AB Test 的實作步驟
為什麼要做 AB Test
假設墨菲今天發了電子報發現：電子報轉換率很低，那該怎麼做才能讓更多讀者點開電子報中的文章連結呢？
經過討論後，我們決定將點選文章的方式調整為按鈕標示（如下圖所示），這樣也許可以吸引讀者的目光，並增加點擊意願。
以上就能做成一場簡單的 AB Test 實驗。
AB Test 時常被使用在電子報、網站介面等場景之中，通過數據佐證提出的假說是否正確，同時也幫助我們思考該怎麼調整以達成商業目的。
另外，許多公司如 Netflix 也曾做過 AB Test。Netflix 設計的實驗是讓非會員能在註冊頁面瀏覽部分影片內容，他們認為這麼做可以提升註冊人數，然而結果卻不如預期，不過這也讓團隊獲得了寶貴的經驗。
什麼是 AB Test
承接上面例子，所以我們在電子報中加上按鈕，寄給讀者之後就算是做 AB Test 了嗎？
並不是這樣。
接下來，你還需要將讀者分成控制組與實驗組，分別寄給控制組 A 版本電子報，寄給實驗組 B 版本的電子報，通過後續分析實驗結果，才算是一場完整的 AB Test。
*AB Test 又稱為「隨機測試」，將兩個不同東西（即A和B）進行假設比較。這項測試運用統計學上的假設檢定和雙母體假設檢定，能用來測試某一個變量兩個不同版本的差異（出自維基百科）。
用白話來說，當我們遇到一個問題，不確定 A 還是 B 比較好的時候，就可以通過 AB Test 幫助我們決策。
AB Test 要怎麼做
第一步：定義目標
你做 AB Test 的目的是什麼？在正式開啟 AB Test 實驗之前，我們要先確認究竟想達到怎樣的商業目的，常見的商業目的像是：
- 提升點擊率
- 提升轉換率
- 提升優惠券的使用率
- 減少新用戶流失
- 減少電子報跳出率
提出明確的目標，才能幫助我們在分析時更完整的檢視，這樣的結論是否與目標一致。
第二步：提出假說
定義完目標之後，接下來要提出假說。這兩者的順序不可以顛倒，否則會導致邏輯不通順。
如果我們的目標是「提升讀者點擊率」，那麼假說可以是：
- 醒目提示可以增加讀者的點擊率
- 添加圖片可以增加讀者的點擊率
- 縮短文案長度可以增加讀者的點擊率
以上三項假說都可以分別進行不同實驗來測試。不過各位讀者切記！一個假說只能提出一項操作變因：
- (O) 增加按鈕可以增加讀者的點擊率
- (X) 增加按鈕與添加圖片可以增加讀者的點擊率
如果在一個假說中放了兩個操作變因，那麼當實驗成功時，你會不清楚到底是按鈕還是添加圖片發揮了作用，反而會徒勞無功！
第三步：進行實驗、分析結果
建立好假說後，我們需要根據假說來製作測試版本，以下圖為例，A 版本為原版本，B 版本為測試版本。
接著將樣本數（也就是準備寄信的讀者）隨機且平均的分成 A, B 兩群人，並發送電子報給他們。
進行實驗時你需要留意：
- 樣本數是否足夠：樣本數過少可能會導致結果偏差，無法準確反映真實情況。舉例來說，你經營的網站有 100 萬人，但你只挑了其中 1 萬人進行實驗，針對他們發行 A, B 兩版不同的電子報。這時就可能產生樣本數不足的情況，導致最終做出的實驗結果無法代表母體。
- 統計顯著性：可以通過統計學上的檢定方式，檢驗實驗結果是否具備顯著性。舉例來說，如果最終做出來的實驗，你發現實驗組只比控制組多 1-2人點擊連結，那麼這樣的結果就無法證明測試版本可以驅使更多人來點擊連結。
第四步：持續優化
在分析實驗結果後，如果測試結果無顯著差異，需要重新檢討假設或變因設計是否合理。反之，當你發現測試版本具有顯著性差異，就可以開始套用新版本了！同時，你也可以再提出其他假說，進而通過驗證、分析的方式持續優化。
舉例來說，當你發現調整成按鈕確實有助於讀者的點擊率之後，可以接著測試：添加圖片是否可以增加讀者的點擊率。
如此一來，通過一系列的 AB Test 優化就可以持續提升電子報的點擊率。
那麼以上是今天對於 AB Test 的分享，如果大家對於 AB Test 有其他疑問也歡迎來信或是留言跟我們討論！我們下期文章見囉
