近日,元氣森林創始人唐彬森發表演講時表示:“因為我們對用戶體驗的極致追求,所以我們才有了數據分析;我們才有了各種A/B測試,才有了各種做分析的手段,所以說我們才會非常關注留存率、NPS、次日留存和月度留存一系列的概念,因為我們很關注用戶在每一個環節的流失。”
據報道,元氣森林尚有 95% 的產品未推向市場,其主要產品“燃茶”的上市是將幾十種飲料反復在互聯網上測試的結果。在其他飲料公司仍可能踩進“預先生產大批量產品、發現問題再喊停”這個坑的同時,元氣森林已經習慣了在快速測試中遇到問題及時調整或終止,試錯成本已降低至每批次 40-50 萬左右,不及最初的 1/10。
唐彬森提到的“A/B測試”,是指對不同策略進行對比實驗,根據結果選擇最優方案。在互聯網領域,A/B測試早已獲得廣泛的應用,國際知名的互聯網巨頭,幾乎所有的產品改動都要經過嚴格的A/B測試驗證后才能上線,亞馬遜甚至稱自己為“A/B測試公司”。
更經典的一個案例是,2007年,一名互聯網工程師通過A/B測試為奧巴馬的競選網站提供優化策略,為奧巴馬團隊額外獲得了三百萬的支持者,增加了5700萬美元的捐款額。

奧巴馬競選網站的A/B測試(左側為四種備選方案,右側為最終采用的轉化率最高的方案)
在國內,像BAT、字節跳動、美團等多家大型互聯網公司也都建立了自己的A/B測試平臺。以字節跳動為例,每天同時進行的A/B測試有上萬場,還把測試平臺通過火山引擎開放給外部企業客戶,中小企業可以申請限期免費使用。
A/B測試雖好,自建此類工具卻不容易。因為A/B測試所涉及的實驗自動分流、流量正交互斥、指標設計和解讀、置信度統計等功能對研發資源、技術成熟度都有較高的要求。對中小企業來說,使用互聯網公司的工具是更為便利的選擇。