產品指標系列（二）- 如何找到合適的產品指標

5. 如何找到合適的產品指標

5.1 找尋合適的指標框架

上一篇文章介紹了我常用的指標框架（如下圖），這個框架特別適合大型的產品組織，它可以幫助團隊界定與上層與水平層的關聯。像是 Ecosystem Metric 可以幫助釐清你的團隊要怎麼貢獻到上級部門或公司層級指標。而 Counter Metric 則可以找到指標間的 Trade-off，除了觀測產品的副作用外，也助於組織內的協作與溝通。

你也可以參考其他指標框架，例如 Amplitude 的 The North Star Playbook或 Mixpanel 的 The Guide to Product Metrics。

指標框架

各個指標的用途如下：

• Goal Metric：用以衡量產品是否成功，屬於團隊層級的指標。
• Operational Metric：類似領先指標，用以觀測產品執行狀況。
• Counter Metric：用以衡量不同指標間的 Trade-off。
• Ecosystem Metric：用以衡量團隊跟上級組織之間的關聯。

我們來看幾個例子

1. Goal Metric 與 Operational Metric

Don’t Let Your North Star Metric Deceive You (Source)

假設 Spotify 的 Output Metric（即 Goal Metric）是使用者聽音樂的時間（Time spent listening to music），而能夠增加聽音樂的時間，來自兩個面向（即 Operational Metric），一是讓使用者更常使用 Spotify（Bring users back more often），二是設法讓使用者用更久（Increase time spent per session）。而這兩個面向，又可以再被拆解成更細的作法（如 Notifications, Recommendations, Playlists, Discovery）。

2. Goal Metric 與 Counter Metric

Don’t Let Your North Star Metric Deceive You (Source)

假設你今天是 LinkedIn 的廣告產品經理，希望透過增加 newsfeed 的廣告欄位（Insert more ads spots into newsfeed）來增加廣告營收（Ad revenue per user），但同時這可能會造成使用率（Engagement）的下降，導致長期的危機。在這個例子中，Ad revenue per user 是 Goal Metric，而 Engagement 則是 Counter Metric，用以衡量增加廣告營收時可能產生的 Trade-off。

5.2 建立指標框架的步驟

看完了這兩個例子，你可能會想，要怎麼有系統的產生出這些指標呢？

大致上可透過六個步驟完成指標框架：

步驟 0 Ecosystem Metric：如果你是在大型產品組織，在建立指標框架前，需要去釐清自身團隊如何支援上級的指標，了解自己的團隊如何幫助公司或產品部門達標。

步驟 1 制定產品願景、策略、與長期路線圖：我們已經知道產品指標就是來衡量產品與商業成功的量化指標。所以，在制定產品指標的第一步，就是制定產品願景與策略，產品願景（Vision）是產品存在的意義，可為這世界帶來什麼不同。產品策略（Strategy）是產品可對客戶與商業帶來什麼價值，以及要怎麼樣贏。有了這樣的描述，我們才有辦法思考怎麼去衡量這個價值。產品路線圖（Roadmap）則是你要做什麼、何時做，才能達成目標。必須老實的說，沒有定義願景、策略與路線圖，是沒有辦法建立好指標的。

《 延伸閱讀：如何進行產品策略與路線圖規劃 》

步驟 2 Goal Metric：有了產品願景，你會知道長期 Goal 為何，有了產品策略與路線圖，你會知道不同階段的 Goal 為何。Goal Metric 即是用來衡量特定時間點（例如 2020 年下半年）產品是否成功。理想上每一個產品經理的團隊會有一個 Goal Metric，多個 Goal Metrics 會讓團隊難以專注。

步驟 3 Operational Metric：制定好 Goal Metric 後，很關鍵的下一步就是找出「要做什麼」，才能驅動 Goal Metric。Operational Metric 指的就是衡量「要做什麼」的指標。那麼，如何找出 Operational Metric 呢？大致可分為三個步驟：

1. 制定顧客旅程圖（Customer Journey Map），找出使用者操作產品的關鍵事件。
2. 透過回歸分析（Regression Analysis）或 Cohort Analysis 找出旅程中相關性高的事件。
3. 透過實驗（如 AB tests）確認事件的因果關係。

實務上第二步有時會省略，如果省略第二步，就是很標準的透過實驗去驗證產品假設。此外，通常達成 Goal 的方式會不只一種，所以有多個 Operational Metric 是很常見的。值得一提的是，把相關性當作因果關係是常見的錯誤，大家可以參考這篇文章 Correlation vs Causation: Understand the Difference for Your Product。

步驟 2 與 3 是建立指標框架中最重要的環節，也通常最花時間。但它是不可或缺的步驟，也是任何階段的公司都應該思考的。

步驟 4 Counter Metric：在完成步驟 3 後，下一步是找出 Counter Metric 來衡量在追逐產品 Goal 時，可能產生的副作用。有一些撇步可以幫助大家找到 Counter Metric：

1. 思考極端情況：當你把 Operational Metric 做到極致時，會對使用者或商業產生哪些副作用。例如當你狂下廣告獲取新使用者時，可能產生的副作用是使用者的轉換率或留存率很差。
2. 爭奪相同的資源：Counter Metric 通常發生在不同產品爭取相同資源時，例如兩個產品都在爭奪使用者的注意力，因為注意力是有限的，所以當 A 產品表現好，B 產品就會受影響。

大家對於 Counter Metric 有興趣的，可以參考以下文章：How do you set metrics? WTF is Your Metric Doing to Your Customers?

相較於 Goal 與 Operational Metric，我認為 Counter Metric 是一個比較進階的指標，也會因公司的階段而意義不同。

如果今天是新創公司或新產品，特別是已經找到 PMF 但還在快速增長階段的公司（如果還沒找到 PMF，請花全心全力找到 PMF），我會認為 Counter Metric 對你的意義是幫你找出潛在的風險與副作用，你也許仍應該把多數的資源投入在增長，等到搶下市場領先者時，再來減少對 Counter Metric 的傷害。

但如果今天是大公司或成熟產品，Counter Metric 真的就是讓你在複雜的世界中找到平衡。例如增加營收的同時，確保使用者體驗不受到嚴重的傷害。或是相反，當在追求極致使用者體驗時，確保商業價值是不被影響的。目前業界比較常用的作法叫做 Non-Inferiority Test，原本這方法是來自製藥產業。在追求更低的製造成本時，確保藥效與安全性不受影響。想知道更多關於 Non-Inferiority Test 方法，可以參考 The Case for Non-Inferiority A/B Tests。

步驟 5 External Dependency：到步驟 4，指標框架的建立大致上已完成，接下來則是在思考行動方案時，找到需要仰賴外部資源的部分。舉例，假設你今天是做如 Netflix 的內容型產品，你的目標是使用者成長，而內容是成長方案中必要的一環，例如你需要「日劇」這個內容才能吸引到特定族群的使用者，此時，日劇內容的獲取就成為你的 External depdendency。又或者，你今天是做搜尋結果轉換率優化，此時，搜尋演算法就成為你的 External Depdendency。

步驟 6 Metrics Review：恭喜你已經完成指標框架的建立，找到了你的 Ecosystem Metric、Goal Metric、Operational Metric、Counter Metric 與 External Dependency。接下來你可以快速地檢視指標是否符合「容易理解」、「不容易被操弄」、「容易追蹤」等原則。

5.3 手把手案例- 以假想的 Booking.com 民宿安全產品為例

我以 Booking.com 民宿端安全產品為例（此為假想案例，非實際案例與真實指標），試著說明要如何透過指標框架建立產品指標。

假想的 Booking.com 民宿安全產品

步驟 0 Ecosystem Metric：假設民宿產品部門的 Goal 是要增加活躍民宿主（hosts）的數量，每一個民宿產品部門的產品團隊都要對此 Goal 有所貢獻，# of active hosts 變成為產品團隊的 Ecosystem Metric。

步驟 1 制定產品願景、策略、與長期路線圖：透過市場研究與競爭者分析調查，我們發現欠缺信任與安全（Trust & Safety）是阻礙民宿主到 Booking.com 上架的重要原因，因此，成為一個值得信任與安全的平台成為民宿產品的願景。在進行使用者研究後，產品團隊近一步發現安全可以分成「感覺安全」與「實際安全」，「感覺安全」即讓民宿主覺得平台是安全的，「實際安全」則是是否發生安全意外事件。

步驟 2 Goal Metric：要達成增加 # of active hosts，新註冊的民宿主是關鍵，因此把 Goal Metric 定為 Hosts activation rate。

步驟 3 Operational Metric：對於 Hosts activation rate 這個 Goal 來說，「感覺安全」可能比較有貢獻，產品策略由此而定，短期先提升「感覺安全」，長期在慢慢加強「實際安全」。要衡量「感覺安全」，我們把的 Operational Metric 定為 Safety level perception，是一種民宿主主觀判斷的指標。透過使用者研究與 AB tests，我們也發現提供物業保險、讓民宿設定居家守則、提供旅客身份驗證則有助於提升「Safety level perception」。

步驟 4 Counter Metric：在強化民宿主安全的同時，我們也預期，當提供愈多安全設定給民宿主，對於旅客則是一種摩擦（friction），可能會讓轉換率下降，但也有可能帶給旅客一種安全感，所以退訂率也反而會下降。因此，我們把旅客訂房轉換率與退訂率設為 Counter Metric。

步驟 5 External Dependency：就提升「感覺安全」的三個手段中，提供物業保險並不是產品團隊自身可以可以推動的，需要跟財務、法務與營運團隊合作才能推動，因此保險方案的提供者成為提供物業保險的 External Dependency。

步驟 6 Metrics Review：至此，我們可以再檢視一次指標是否符合容易理解、容易追蹤、不容易被操弄等原則。一般來說，會避免 Metric 是透過問卷的方式取得，因為填寫問卷的人總是少數，如何衡量 Safety level perception 是一個不簡單的任務。

小結

本文主要談如何找到合適的產品指標，首先，你要找到合適的指標框架，接著，你可以透過六個步驟把指標框架建立，我也透過一個假想的案例來說明如何實際操作。希望這樣可讓大家對實務操作面有更近一步的了解。

下次，我們會討論何謂好的產品指標、如何定出合適的目標值（Target），把這個系列作個結尾。下個月見。