市值逾五千億美元的騰訊,以其強大的社群軟體與互聯網服務聞名,其主力商品微信用戶數超過九億、QQ用戶數超過八億,從PC時代到手機時代,該公司的新產品均能抓緊趨勢轉折,關鍵就在於從用戶需求出發,能聆聽客戶說出的需要,以及洞察客戶沒說出的渴望。其產品從發想、設計、行銷、反饋,形成一個良性的改善循環。作者李立曾任職騰訊多年,親自參與多項產品開發,這些實戰所學到的經驗,均完整呈現於本書。

管理大師彼得.杜拉克(Peter Drucker)說:「如果你不能夠衡量,那你就不能夠有效增長。」數據分析工作貫穿產品設計、成長的全過程。數據是真實、客觀的,不過看數據的角度卻是主觀的。因此,與獲得「正確」的數據分析方法相比,避免陷入常見的數據誤區恐怕是更重要的事。

雷區一:新版總比舊版好

每個版本發布後,我們必須要做的數據工作就是對比分析新舊版本的數據情況。分析的指標包括但不限於版本的到訪頻率、使用時長、關鍵流程轉化率、用戶留存率等。如果直接提取兩個版本的全量用戶數據進行分析,絕大多數情況下,我們會發現新版本數據總是比舊版本好。如果不仔細分析,很容易得出「用戶果然更喜歡新版本設計」的結論。

但事實是,直接對比全量數據的分析方法是錯誤的。因為新舊兩個版本的用戶群性質存在較大差異:

新版本用戶池=舊版本升級到新版本的用戶+首次下載產品的新用戶。

舊版本用戶池=舊版本升級到新版本的用戶+舊版本未升級到新版本的用戶。

一般來說,對產品舊版本比較滿意、相對活躍的用戶更願意升級到新版本,而那些對產品不怎麼滿意的用戶很多都流失了,自然也不會升級進入新版本用戶池裡。這就導致新舊版本數據池中有差異的兩個群體:一個是中性用戶──首次下載產品的新用戶,另一個卻是負評價用戶──舊版本未升級到新版本的用戶。這樣做對比分析得到的結論自然比真實情況樂觀許多。

因此,對比分析的首要任務就是確保參與比較的兩組群體性質相似,盡可能控制住其他變量,只觀察版本變量對用戶的影響。具體做法可以選擇新舊兩個版本發布初期(如發布後七天)的新用戶來進行對比分析。這些用戶都是首次接觸產品,只有接觸的版本不同,這樣得到的結論就能更接近用戶對產品的真實反饋。

雷區二:平均數掩蓋的真相

我們看數據的時候,一定要對平均數提高警惕,因為它導出的結論常會掩蓋一些重要真相。最常見的誤區有兩種:

一、 混淆不同級別的用戶。

二、 忽視用戶分布狀況。

不同用戶對產品的意義是不一樣的。如果我們不對用戶分級,混淆起來看總體的用戶數據指標、看平均數,那麼既不能看到真正的問題在哪,也無法知道真正的增長來自哪裡。

例如一個影片類應用分析它緩沖超時(編按:指影片在播放時中斷,等待下載的時間過長)與用戶跳出率之間的關係,發現不管平均超時多嚴重,用戶的跳出率都很低,似乎對緩沖超時不在意。但進一步分析數據發現,原來有九五%是免費用戶,這些用戶不管超時多嚴重,跳出率都很低;而另外五%的付費用戶其實對超時很敏感,當超時嚴重時,跳出率明顯上升。但由於付費用戶在總用戶中占比太低,這種狀況就被總體平均數給掩蓋掉了。

所以我們分析產品數據時,一定要對用戶群分級。凡涉及「平均」指標的數據,都盡量到同級別用戶裡去做統計。

另一個平均數的誤區是:我們在談平均數據時,總會下意識的忽略用戶的分布狀況。比如,當聽到一個描述說「這個頁面的日平均瀏覽量高達兩百萬」時,深諳數據分析之道的營運管理者一定會追問「這個數據的具體分布情況如何?」因為他們腦海中會立刻反射兩張不同的圖像出來。