如何將競爭對手資料轉化為標竿分析報告（步驟詳解）
收集競爭對手資料只是比較容易的前半段工作。你最後會得到一份包含價格、方案限制、功能勾選清單和員工人數估計的試算表。但它仍然無法回答那個最關鍵的問題：我們到底是領先還是落後？
基準測試報告能回答這個問題。它將你的數據放入同業群組中，並指出你所處的位置。
有兩件事決定了你的報告是否站得住腳：同業群組中包含哪些對手，以及你是與平均值還是與分佈情況進行比較。
本指南將介紹首先需要確定的事項、三種手動評估路徑，以及每種路徑在何處會遇到瓶頸。
開始之前你需要準備什麼
你需要一個能用一句話合理解釋的同業群組。「在相同預算下，買家會與我們一起列入考慮清單的工具」是一個站得住腳的定義；而「八個最大的品牌」則不是。
你需要為每個競爭對手建立一個橫列，並為每個屬性建立一個直欄，且該屬性必須有明確定義。一個名為「AI 功能」的欄位就像擲硬幣一樣模糊；而一個名為「透過上傳的檔案生成簡報投影片」的欄位則是一個明確的事實。
你還需要為每個數據記錄擷取日期。價格和方案限制隨時會變動，沒有日期的基準測試報告只會默默失效。
首先要做出兩個決定。
你要比較的是什麼。 價格、能力還是成效。這些需要不同的同業群組，將它們混在同一個表格中是最常見的結構性錯誤。
你要進行排名還是評分。 排名需要分佈數據。評分需要權重，而權重需要有人負責制定與維護。
有一個習慣最能減少重做的工作量：在每個儲存格旁邊記錄來源網址，而不是寫在另一個獨立的備忘標籤頁中。
為什麼比較才是最困難的部分
大多數的基準測試都是將某個數據與同業平均值進行比較。這是對資料最膚淺的解讀方式。
平均值只能告訴你中間點在哪裡。它無法告訴你中間點是否擁擠，或者你是否接近邊緣。
百分位數排名則可以做到這一點。PERCENTRANK.INC 會傳回某個數值在資料集中的位置。這能為你提供你真正想要的結論：我們的價格處於考慮清單中的第 30 個百分位數。
四分位數則提供了區間。QUARTILE.INC 將同業群組分成四個部分，對於一般只看一次的報告來說，這樣的解析度通常已經足夠。
這其中存在一個容易讓人出錯的樣本數陷阱。排除型（exclusive）的百分位數函數無法在小樣本上計算極端的百分位數。
Microsoft 說明了 PERCENTILE.EXC 的運作方式。當「指定百分位數的值介於陣列中的兩個值之間時，它會進行插補」，而無法計算時則會傳回 #NUM! 錯誤。
當同業群組只有八個對手時，無法以此方式計算第 95 個百分位數。對於小資料集，請使用包含型（inclusive）函數，並註明你使用的是哪一種。
資料標準化也同樣重要。在確定團隊人數之前，按人頭計費與按工作空間計費的價格是無法比較的。在選定統一基準之前，年繳和月繳價格也是無法比較的。
如何手動進行
選項 1：先建立屬性矩陣，再進行排名
在進行任何運算之前，先確保表格結構正確。每個競爭對手佔一列，每個屬性佔一欄，且每欄都有明確定義。
然後使用 XLOOKUP 帶入你自己的數據，讓你的數據列是自動生成而非手動輸入。手動輸入的數值比檔案中的任何其他內容都更容易過期。
完成後再進行排名。為每個數值屬性新增一個百分位數欄位，這樣報告中的每項聲明背後都有具體的位置數據支持。
這種方法的瓶頸在於，矩陣本身並不是結論。它只展示了十二個欄位，卻沒有呈現優先順序。
選項 2：在計算任何平均值之前，先對同業群組進行區隔
在混合的資料集中計算單一的綜合平均值，是基準測試最容易出錯的地方。僅限企業級的工具與自助式工具在定價上並不會互相競爭。
請拆分資料集，並針對每個區隔使用 AVERAGEIFS。分別報告每個區隔的結果，而不是將它們合併。
拆分時請注意樣本數。一個區隔中只有四個競爭對手只能算是個案，而基於四個數據點算出的百分位數，應標註為僅具方向性參考價值。
這裡的限制在於判斷力。工具只會根據你定義的區隔進行計算，如果區隔定義得不好，就會得出一個看似言之鑿鑿的錯誤答案。
選項 3：保留一個資料來源追蹤標籤頁
每個數據點佔一列：屬性、競爭對手、數值、來源網址、擷取日期。
這是讓報告在下個季度可以重新運行的關鍵。這也能讓你無需重新進行調查，就能回答「這個數據是從哪裡來的」之類的問題。
限制在於資料來源不會自動更新。每個數據都有時效性，必須有人重新檢查。
共同的瓶頸。 這三種方法都假設屬性是可比較的。當某家廠商公布了限制，而另一家什麼都沒公布時，誠實的作法是在儲存格中填寫「未公布」，而不是憑空猜測。
手動路徑在何處會慢下來
第一份報告需要花費一週的時間。第二份報告花的時間也差不多，因為底層數據已經變動，而且沒有人記錄哪些數據變了。
價格會按照各自的時程變動。方案限制、最低人頭限制和方案包裝也是如此，每一次變動都會默默地讓某個儲存格失效。
功能欄位的時效性比價格欄位衰退得更快。上個季度還不存在的功能，可能在沒有任何公告的情況下就推出了，這會導致你的表格對競爭對手的描述與事實不符。
That is the real risk in benchmarking work. A stale "no" is not a neutral error. It is a claim about someone else's product that you cannot support.
在簡報展示時還會出現第二種成本。如果有人詢問為什麼要納入某個競爭對手，而同業群組的篩選規則從未被記錄下來，那麼整份報告的公信力就會動搖。
如何使用 Powerdrill Bloom 建立報告
步驟 1：上傳你的競爭對手試算表
上傳你收集的矩陣，如果你的指標檔案是分開的，也請一併上傳。Powerdrill Bloom 會在匯入時分析欄位，因此在計算任何排名之前，空白儲存格、混合單位和重複的競爭對手名稱都會先被找出來。
步驟 2：使用自然語言描述比較內容
直接說明同業群組和比較基準，而不需要撰寫公式。說明哪些競爭對手屬於哪個區隔、你使用的是哪種價格基準，以及哪些屬性是數值。
然後提出能找出錯誤的問題。詢問哪些儲存格缺少來源或日期，以及哪些屬性記錄了混合單位。接著詢問你自己的數據列在每個區隔中處於什麼百分位數位置。
步驟 3：匯出圖表、報告或簡報
匯出排名表格、定位圖表，或是在呈現結果的同時也包含同業群組定義的簡報投影片。
為什麼這比手動重建矩陣更好
| 手動路徑 | Powerdrill Bloom | |
|---|---|---|
| 單一欄位中包含混合的價格基準 | 手動進行標準化 | 說明基準並直接提問 |
| 每個屬性的百分位數位置 | 每欄都需要公式 | 直接要求排名結果 |
| 沒有來源或日期的儲存格 | 抽查標籤頁 | 在上傳時即會顯現 |
| 下個季度重新運行 | 重建試算表 | 更換檔案，保留規則 |
第三列是保護你的關鍵。基準測試報告中沒有來源的儲存格是一種潛在風險，而手動尋找這些儲存格往往是最容易被忽略的檢查步驟。
常見錯誤
依品牌規模選擇同業群組。 買家是根據預算和待解決任務（job to be done）來篩選考慮清單，而不是看市值。請像你的買家那樣去定義群組。
與平均值比較，而不是與分佈情況比較。 平均值會隱藏你究竟是處於擁擠的群體中還是邊緣。請同時報告百分位數和同業數量。
讓價格保留在不同的基準上。 按人頭、按工作空間、月繳和年繳不能共用同一個欄位。請固定一個基準並加以註明。
將目前缺失的功能記錄為永久「無此功能」。 新功能往往是默默推出的。請為每個功能儲存格記錄日期，並在發布關於競爭對手的聲明之前重新檢查。
在較小的同業群組上使用排除型百分位數函數。 極端的百分位數無法以此方式計算，且會傳回錯誤。請使用包含型函數並加以說明。
為了獲得更大的樣本而混淆不同的區隔。 一個混合了企業級和自助式服務的較大資料集，效果比一個誠實的小型資料集還要糟糕。請進行拆分並加上標籤。
在未說明權重的情況下報告評分。 加權評分只是披著數字外衣的個人意見。請公布權重或公布排名，並將結果與你實際管理所依據的領先與落後指標相結合。
結論
用一句話定義同業群組、定義每個屬性欄位、標準化價格基準，並報告百分位數而非平均值。這就是讓基準測試報告順利通過第一次審查的關鍵。
成本最高的部分不是分析，而是每個儲存格都有時效性，因此報告必須是可重新運行的，而不是每次都要重寫。
如果你整個季度都在重建那個矩陣，不妨在你現有的試算表上試用 Powerdrill Bloom。另請參閱用於競爭對手基準測試的最佳 AI 工具總覽，以及 AI 競爭對手分析和 AI 競爭情報頁面。
常見問題
基準測試報告中應該包含什麼？
一個定義明確的同業群組、每個定義屬性各佔一欄、根據你的資料自動生成的專屬數據列，以及每個數值屬性的百分位數位置。每個儲存格都需要有來源和擷取日期。
我需要多少個競爭對手？
數量必須多到能讓百分位數具有意義，因此一個區隔中有 8 到 12 個對手是合理的目標。如果少於 5 個，請將結果標註為僅具方向性，而非統計學意義。
我應該與平均值還是中位數進行比較？
單看任何一個都不夠。請報告你所處的百分位數，因為這才能回答實際的問題，且不會受到偏斜的同業群組數據所影響。
我可以從哪裡取得站得住腳的競爭對手資料？
已公布的定價頁面、官方產品文件和公開申報文件是最站得住腳的，因為它們有明確的來源和日期。請在每個數據旁邊記錄網址和日期。
報告應該多久更新一次？
價格和方案包裝應每季更新，功能聲明則應更頻繁地更新。功能變更通常不會有公告，而過時的「無此功能」記錄是損害公信力的主要錯誤。