Forrester調(diào)查顯示：企業(yè)使用A/B測試的ROI達(dá)126%

4月26日，《火山引擎A/B測試總體經(jīng)濟(jì)影響白皮書》正式發(fā)布。這份白皮書由市場研究公司Forrester調(diào)研撰寫，揭示了A/B測試對于企業(yè)營收增長、運(yùn)營成本、生產(chǎn)力優(yōu)化等方面的重要影響。基于對多家企業(yè)調(diào)研，F(xiàn)orrester發(fā)現(xiàn)企業(yè)營收增長與其洞察力高度相關(guān)，領(lǐng)先企業(yè)的營收增長速度可以達(dá)到落后者的5倍，A/B測試正是企業(yè)提升洞察力最有效的工具之一。

白皮書中，F(xiàn)orrester調(diào)研了多家使用火山引擎A/B測試的企業(yè)，發(fā)現(xiàn)這些企業(yè)的廣告營收和會(huì)員運(yùn)營收益均有明顯提升。綜合財(cái)務(wù)分析來看，企業(yè)使用A/B測試的ROI（投資回報(bào)率）達(dá)到126%。

《火山引擎A/B測試總體經(jīng)濟(jì)影響白皮書》：具有較高成熟度的洞察力驅(qū)動(dòng)企業(yè)，營收增長是落后者的5倍

A/B測試成為企業(yè)降本增效利器

隨著人口紅利逐漸消退，各行各業(yè)面臨著不同程度的增長瓶頸，企業(yè)迫切需要由過去粗放式的運(yùn)營模式，轉(zhuǎn)變到以客戶體驗(yàn)至上的精細(xì)化運(yùn)營模式。白皮書顯示：94%的企業(yè)決策者認(rèn)為，客戶需求及偏好相關(guān)的數(shù)據(jù)洞察對于提升企業(yè)營收極為關(guān)鍵；81%的企業(yè)認(rèn)為通過數(shù)據(jù)深入了解客戶的需求，并基于數(shù)據(jù)不斷改進(jìn)和優(yōu)化解決方案，提升了競爭優(yōu)勢。

作為客戶洞察最有效的工具之一，A/B 測試正在被越來越多的企業(yè)所采納。A/B測試本質(zhì)是對照實(shí)驗(yàn)，其方法是對不同策略進(jìn)行隨機(jī)對比，通過實(shí)驗(yàn)數(shù)據(jù)來確定最優(yōu)方案。為了客觀呈現(xiàn)A/B測試帶來的實(shí)際價(jià)值，F(xiàn)orrester使用總體經(jīng)濟(jì)影響（TEI）模型，對采用火山引擎A/B測試產(chǎn)品的企業(yè)進(jìn)行調(diào)研分析。

調(diào)研顯示，A/B測試能通過優(yōu)化的方式實(shí)現(xiàn)廣告營收增長、會(huì)員運(yùn)營收益提升、運(yùn)營成本節(jié)省，以及提升數(shù)據(jù)分析效率，實(shí)現(xiàn)生產(chǎn)力優(yōu)化。量化分析表明，受訪企業(yè)產(chǎn)品上線迭代效率提升20%，數(shù)據(jù)分析效率提升60%，三年廣告業(yè)務(wù)利潤凈增長224萬元，三年會(huì)員運(yùn)營利潤凈增長115萬元。綜合財(cái)務(wù)分析來看，企業(yè)應(yīng)用A/B測試的ROI達(dá)到126%。

“通過分流模型和持續(xù)的試驗(yàn)，我們大幅度優(yōu)化了開屏廣告，廣告營收取得了翻倍的增長，這是以往無法做到的”，一家受訪企業(yè)表示A/B測試的效果超出了預(yù)期。

白皮書指出，A/B測試帶來的還有非量化收益，包括降低產(chǎn)品新版本發(fā)布風(fēng)險(xiǎn)、提升客戶參與及活躍度、落地?cái)?shù)據(jù)驅(qū)動(dòng)的文化，以及提升企業(yè)自適應(yīng)性，實(shí)現(xiàn)業(yè)務(wù)快速迭代和持續(xù)創(chuàng)新。

Forrester高級咨詢顧問谷豐認(rèn)為，洞察力驅(qū)動(dòng)成熟度與企業(yè)營收增長高度相關(guān)，具有較高成熟度的洞察力驅(qū)動(dòng)企業(yè)，營收增長是落后者的5倍。

從A/B測試走向“敏捷數(shù)智引擎”

字節(jié)跳動(dòng)被稱為一家“A/B測試”公司，有著“萬事不決問AB”的流行語，甚至連抖音的名字也是通過A/B測試測出來的。作為字節(jié)跳動(dòng)旗下的企業(yè)級技術(shù)服務(wù)平臺，火山引擎也將A/B測試視為重要的技術(shù)工具。

火山引擎數(shù)據(jù)產(chǎn)品負(fù)責(zé)人郭東東表示，基于內(nèi)部先進(jìn)的底層算法、科學(xué)分流能力、智能統(tǒng)計(jì)引擎，火山引擎A/B測試已覆蓋推薦、廣告、搜索、UI、產(chǎn)品功能等業(yè)務(wù)場景，提供從實(shí)驗(yàn)設(shè)計(jì)、實(shí)驗(yàn)創(chuàng)建、指標(biāo)計(jì)算和統(tǒng)計(jì)分析，到最終評估上線等貫穿整個(gè)實(shí)驗(yàn)生命周期的服務(wù)。

郭東東指出，A/B測試是一個(gè)重要的生產(chǎn)力工具，但轉(zhuǎn)型為洞察驅(qū)動(dòng)型組織還需要搭配數(shù)據(jù)驅(qū)動(dòng)更多的能力。為此，火山引擎基于字節(jié)跳動(dòng)數(shù)據(jù)驅(qū)動(dòng)理念，為企業(yè)客戶提供了一套完整的數(shù)據(jù)中臺，實(shí)現(xiàn)從單品數(shù)智到全局?jǐn)?shù)智。

圖：火山引擎數(shù)據(jù)產(chǎn)品全景圖

火山引擎數(shù)據(jù)中臺分為SaaS層和PaaS層。SaaS層主要是數(shù)據(jù)應(yīng)用產(chǎn)品，核心是幫助業(yè)務(wù)使用數(shù)據(jù)、推動(dòng)業(yè)務(wù)增長，包括A/B測試產(chǎn)品 DataTester、增長營銷平GMP、增長分析DataFinder、客戶數(shù)據(jù)平臺CDP、智能數(shù)據(jù)洞察ABI。PaaS層主要是數(shù)據(jù)中臺類產(chǎn)品，提效數(shù)據(jù)開發(fā)、沉淀數(shù)據(jù)資產(chǎn)，包括湖倉一體分析服務(wù)LAS、Stateless云原生開源大數(shù)據(jù)平臺E-MapReduce、極速OLAP引擎ByteHouse、大數(shù)據(jù)研發(fā)治理套件DataLeap。

郭東東介紹，與傳統(tǒng)建設(shè)數(shù)據(jù)驅(qū)動(dòng)體系的理念不同，火山引擎數(shù)據(jù)中臺是從業(yè)務(wù)場景出發(fā)，根據(jù)企業(yè)實(shí)際應(yīng)用驅(qū)動(dòng)中臺能力建設(shè)，從上往下逐步落地?cái)?shù)據(jù)驅(qū)動(dòng)能力，為企業(yè)客戶構(gòu)建敏捷的數(shù)智引擎。