欧美韩国日本精品一区二区三区,正在播放国产精品国语对白

火山引擎DataTester：如何用A/B測試做產(chǎn)品增長？

來源：中關(guān)村在線　2022-12-06 16:56:12

隨著如今越來越高的獲客成本，用戶拉新變得不再容易；而且由于獲客成本的增高，讓用戶留存也變得更加重要。同時(shí)，一個(gè)產(chǎn)品的使用體驗(yàn)好壞、是否給予對應(yīng)的用戶價(jià)值，通?！坝脩袅舸妗本捅蛔鳛橹匾暮饬恐笜?biāo)之一。

那么，如何將有限的流量發(fā)揮出最大的價(jià)值，盡可能的提升用戶留存呢？本文將跟隨字節(jié)的一款內(nèi)容App的增長實(shí)踐來一探究竟。

(資料圖片僅供參考)

該款A(yù)pp為用戶提供短篇、中篇、長篇內(nèi)容閱讀服務(wù)，但在App推出一段時(shí)間后，該產(chǎn)品團(tuán)隊(duì)通過核心指標(biāo)分析，發(fā)現(xiàn)App新用戶流失率非常高。其中新用戶LT（Life Time / 用戶生命周期）、LTV（Life Time Value/用戶生命周期價(jià)值）等指標(biāo)均大幅低于預(yù)期，有較大的提升空間。

如何降低新用戶的流失率、提高用戶留存，成為了這款產(chǎn)品亟待解決的問題。

由于字節(jié)的產(chǎn)品在迭代、推廣過程中都會不斷經(jīng)歷A/B測試的打磨，因此該產(chǎn)品團(tuán)隊(duì)首先查看了歷史策略，希望汲取一些經(jīng)驗(yàn)。他們在字節(jié)跳動自研的A/B測試產(chǎn)品——DataTester 中，查看了該App以往的A/B實(shí)驗(yàn)歷史，并通過 DataTester 特設(shè)的「經(jīng)驗(yàn)庫」能力，找到了往期能夠提升用戶留存的產(chǎn)品策略。

他們從「經(jīng)驗(yàn)庫」往期A/B測試的歷史中看到：

· 往期“7天簽到禮包”玩法中，新用戶LT顯著上升，用戶留存率顯著上升；

· 往年春節(jié)期間曾發(fā)起過眾多活動，“簽到日歷”的玩法對比其他活動，留存最佳；

.....

總結(jié)發(fā)現(xiàn)，往期的“簽到玩法”對比其他策略，對于這款A(yù)pp的用戶留存提升通常更為顯著。下圖可看到“簽到玩法”帶來的拉新占比，及用戶留存趨勢。

因此該團(tuán)隊(duì)判斷，此次產(chǎn)品策略優(yōu)化，通過優(yōu)化“簽到玩法”獲取提升該App新用戶留存指標(biāo)收益的可能性較高。那么在優(yōu)化方向上具體策略如何制定呢？該團(tuán)隊(duì)通過數(shù)據(jù)分析后決定從用戶體驗(yàn)痛點(diǎn)入手。

原產(chǎn)品“簽到玩法”如下：

· 玩法設(shè)置在產(chǎn)品二級頁面“福利頁”，用戶必須打開App后再進(jìn)入“福利頁”，才可以完成玩法任務(wù)

· 產(chǎn)品同時(shí)設(shè)置有兩種“簽到玩法”——「7天見面禮」與「日常簽到」，兩種玩法會同時(shí)彈出，用戶打開產(chǎn)品后會遇到多重彈窗的情況

這樣的產(chǎn)品策略會帶來“用戶操作路徑過長，領(lǐng)取獎(jiǎng)勵(lì)難度相對較大”以及“多重彈窗對用戶造成操作打擾”的痛點(diǎn)。產(chǎn)品團(tuán)隊(duì)因此確定了簽到策略的優(yōu)化思路：降低獎(jiǎng)勵(lì)領(lǐng)取難度，去除多重彈窗對用戶的打擾。

當(dāng)優(yōu)化方向確定后，接下來就需要設(shè)計(jì)完整的A/B實(shí)驗(yàn)方案了；在A/B實(shí)驗(yàn)方案設(shè)計(jì)的過程中，最重要的一點(diǎn)是要計(jì)算出取得顯著性結(jié)論所需要的流量是多少。此時(shí)，字節(jié)的A/B測試產(chǎn)品 DataTester 的優(yōu)勢就體現(xiàn)出來了。當(dāng)業(yè)務(wù)把想提升的指標(biāo)、數(shù)值、提升方向輸入進(jìn)來后，DataTester 可以直接自動計(jì)算所需要的樣本數(shù)量，然后經(jīng)過A/B測試的實(shí)驗(yàn)數(shù)據(jù)來進(jìn)行效果驗(yàn)證，幫助業(yè)務(wù)確認(rèn)最優(yōu)解的策略。

最后通過優(yōu)化新用戶的「7天見面禮」簽到活動，從 DataTester 的實(shí)驗(yàn)結(jié)果上來看，優(yōu)化后的實(shí)驗(yàn)組的大盤新用戶LT（用戶生命周期）、留存率等均有明顯的正向提升；不僅如此，在App活躍時(shí)長、ARPU（平均每用戶收入）等核心指標(biāo)的數(shù)據(jù)也均有不同幅度的正向提升；同時(shí)新用戶的簽到問題反饋也有所下降。

因此，該App將新的策略全量上線，從線上數(shù)據(jù)表現(xiàn)來看，該App的「7日簽到」策略次日領(lǐng)取率提升了近20%，用戶多日留存穩(wěn)定提升了3%~5%，獲取了超預(yù)期的收益。

對于企業(yè)而言，更明智、更長期的戰(zhàn)略意味著需要同時(shí)專注于自身產(chǎn)品的健康發(fā)展以及增長，而這其中最重要的驅(qū)動因素是用戶滿意度和用戶留存。注重用戶留存就可以推進(jìn)增加營收及提高盈利能力，也節(jié)省了獲客成本，達(dá)到了降本增效的目的。

那么如何提升核心指標(biāo)？如何選擇最優(yōu)的產(chǎn)品策略？如何科學(xué)的評估指標(biāo)提升與策略的關(guān)系？如何選準(zhǔn)正確的迭代方向并繼續(xù)向下探索收益？這些都需要A/B測試來進(jìn)行評估并得到“理性且科學(xué)”的數(shù)據(jù)結(jié)果，幫助業(yè)務(wù)在每一個(gè)決策的岔路口上，都做出了更正確的選擇。

DataTester 依靠其先進(jìn)的底層算法，提供科學(xué)的分流能力和智能的統(tǒng)計(jì)引擎，支持多種復(fù)雜的A/B實(shí)驗(yàn)類型。在字節(jié)內(nèi)部幫助今日頭條、抖音等多個(gè)產(chǎn)品“擺脫猜測，用科學(xué)的實(shí)驗(yàn)衡量決策收益”。不僅如此，DataTester 也已經(jīng)由火山引擎對外開放服務(wù)，目前已服務(wù)了美的、得到、凱叔講故事等在內(nèi)的上百家外部企業(yè)，支持了多種業(yè)務(wù)場景需求，為業(yè)務(wù)的用戶增長、轉(zhuǎn)化、產(chǎn)品迭代、運(yùn)營活動等各個(gè)環(huán)節(jié)提供了科學(xué)的決策依據(jù)，將成熟的“數(shù)據(jù)驅(qū)動增長”經(jīng)驗(yàn)賦能給各行業(yè)。（作者：宋楠）

推薦DIY文章