4月20日,火山引擎技術(shù)開放日在北京舉辦,字節(jié)跳動副總裁楊震原分享了他對于A/B測試的理解。同時,關(guān)于字節(jié)跳動早期如何針對今日頭條、抖音等做產(chǎn)品體驗優(yōu)化的故事也被首次曝光。

A/B測試,簡而言之就是做一件事情同時采用A計劃、B計劃,然后再跟蹤用戶使用情況,最終用作預(yù)測驗證和決策支撐。最早有記載的A/B測試出現(xiàn)在1747年:詹姆斯·林德治療壞血病的臨床實驗。他把患有壞血病的水手分成6組,每組2個人,吃不同的食物。實驗結(jié)果是,檸檬/橘子、蘋果汁對治療壞血病有用。

這一工具在字節(jié)跳動的發(fā)展過程中也起到重要的作用。楊震原稱,A/B測試是字節(jié)跳動一項非常基礎(chǔ)的工具,從公司成立之初就在使用,支撐了抖音、今日頭條等產(chǎn)品的增長迭代。目前,字節(jié)跳動A/B測試每日新增1500+實驗,服務(wù)于400多項大大小小的業(yè)務(wù),累計做了70多萬次實驗。這項工具已經(jīng)實現(xiàn)產(chǎn)品化,通過火山引擎向企業(yè)客戶開放。

實際上,已被廣泛應(yīng)用于字節(jié)跳動產(chǎn)品優(yōu)化的方方面面,包括產(chǎn)品命名、交互設(shè)計、推薦算法等。今日頭條的內(nèi)容創(chuàng)作者,一定都體驗過文章的“雙標(biāo)題”功能。為了更好的把內(nèi)容推薦給讀者,一個文章可以起兩個標(biāo)題,從而看哪一類標(biāo)題讀者更喜歡。有觀點認(rèn)為,這也是一種典型的A/B測試。

在抖音上,A/B測試也被運(yùn)用得爐火純青。楊震原介紹,抖音的產(chǎn)品名字就是綜合了A/B測試和人為判斷的結(jié)果。當(dāng)初,字節(jié)做短視頻產(chǎn)品時,有很多候選名字、有不同的產(chǎn)品demo,然后將它們放在應(yīng)用市場商店做A/B測試,以測出用戶對不同名字的關(guān)心程度、吸引力程度、下載轉(zhuǎn)化率等。最終,抖音在測試結(jié)果中排名第二。但因為“抖音”這個名字更符合產(chǎn)品的認(rèn)知、形態(tài),于是便選擇“抖音”作為產(chǎn)品名字。

開放日上,火山引擎還推出了一項火種計劃,以幫助中小企業(yè)推進(jìn)增長。首批納入計劃的產(chǎn)品包括:火山引擎的增長分析、A/B測試、性能監(jiān)控等等,同時融入了字節(jié)跳動的各種方法論。借助這一計劃,中小企業(yè)也將能享受到字節(jié)跳動的“技術(shù)紅利”。