如何将竞争对手数据转化为基准分析报告（分步指南）
收集竞争对手的数据只是容易的前半部分。你最终会得到一个包含价格、方案限制、功能勾选和人数估算的电子表格。但它仍然无法回答那个至关重要的问题：我们是领先还是落后？
基准测试报告可以回答这个问题。它将你的数据放入同行群体中，并指出你所处的位置。
有两点决定了你的报告是否站得住脚：同行群体中都有谁，以及你是与平均值还是与分布情况进行对比。
本指南涵盖了首先需要确定的内容、三种手动途径，以及每种途径在何处会失效。
开始前你需要准备什么
你需要一个能用一句话解释得通的同行群体。“在相同预算下，买家会与我们一起列入候选名单的工具”是一个站得住脚的定义。而“八个最大的品牌”则不是。
你需要为每个竞争对手准备一行，为每个属性准备一列，并对属性进行明确定义。一个名为“AI 功能”的列就像抛硬币一样模糊。而一个名为“通过上传的文件生成幻灯片”的列则是一个事实。
你还需要为每个数据记录获取日期。价格和方案限制会发生变化，没有日期的基准测试报告会悄无声息地失效。
首先要做出两个决定。
你正在比较什么。价格、能力还是结果。这些需要不同的同行群体，将它们混在一个表格中是最常见的结构性错误。
你是进行排名还是评分。排名需要分布数据。评分需要权重，而权重需要有人来负责制定。
有一个习惯最能减少重复劳动：在每个单元格旁记录来源 URL，而不是写在单独的备注标签页中。
为什么对比才是难点
大多数基准测试都是将一个数字与同行平均值进行对比。这是对数据最浅显的解读方式。
平均值只能告诉你中间值。它无法告诉你中间位置是否拥挤，也无法告诉你你是否接近边缘。
百分位数排名则能说明问题。PERCENTRANK.INC 会返回一个数值在集合中所处的位置。这能为你提供你真正想要的结论：我们的价格处于候选名单的第 30 个百分位数。
四分位数可以划分区间。QUARTILE.INC 将同行群体分为四个部分，对于只读一次的报告来说，这种分辨率通常足够了。
这里面有一个关于样本大小的陷阱，很容易让人出错。排他性百分位数变体无法在小样本上计算极端的百分位数。
Microsoft 记录了 PERCENTILE.EXC 的运行机制。当“指定百分位数的数值介于数组中的两个值之间时，它将进行插值”，如果无法计算，则返回 #NUM! 错误。
如果同行群体只有八个，那么第 95 个百分位数是无法通过这种方式计算出来的。对于小集合，请使用包含性变体，并说明你使用的是哪一种。
标准化同样重要。在确定团队规模之前，按席位和按工作区定价是无法进行比较的。在选择统一的基准之前，年付和月付价格也是无法比较的。
如何手动进行
方案 1：先构建属性矩阵，再进行排名
在进行任何计算之前，先确保表格结构正确。每个竞争对手占一行，每个属性占一列，每列都有一个定义。
然后使用 XLOOKUP 引入你自己的数值，这样你的数据行是自动生成的，而不是手动输入的。手动输入的值比文件中的任何其他内容都更容易过时。
只有在这之后才进行排名。为每个数值属性添加一个百分位数列，这样报告中的每个结论都有其对应的数据位置支持。
这种方法的局限在于，矩阵本身并不是结论。它展示了十二个列，却没有体现优先级。
方案 2：在计算任何平均值之前先对同行群体进行细分
在混合集合中计算单一的综合平均值是基准测试出错的根源。仅限企业级使用的工具和自助服务工具在定价上并没有可比性。
拆分集合，并对每个细分市场使用 AVERAGEIFS。分别报告每个细分市场，而不是将它们合并。
在拆分时要注意样本大小。一个细分市场中只有四个竞争对手只能算是传闻，而基于四个数据点的百分位数应当被标注为仅具方向性参考价值。
这里的局限在于判断力。工具会计算你定义的任何细分市场，如果定义不当，就会得出一个看似言之凿凿的错误答案。
方案 3：保留一个数据来源标签页
每个数据点占一行：属性、竞争对手、数值、来源 URL、获取日期。
这正是让报告在下个季度可以重新运行的关键。它还能让你在无需重新进行研究的情况下，回答“这个数据是从哪里来的”问题。
局限性在于，数据来源不会自动更新。每个数字都有保质期，必须有人重新核对它们。
共同的局限。这三种方案都假设属性是可比的。当一个厂商公布了限制，而另一个厂商什么也没公布时，诚实的做法是在单元格中填写“未公布”，而不是凭空猜测。
手动途径在何处会变慢
第一份报告需要一周时间。第二份报告也需要几乎同样长的时间，因为底层数据发生了变化，而没有人记录哪些数据变了。
价格会根据其自身的节奏发生变化。方案限制、最低席位要求和产品打包方式也是如此，每一次变化都会悄无声息地使某个单元格失效。
功能列的失效速度比价格列更快。上个季度还不存在的功能可能在没有发布公告的情况下就上线了，此时你的表格中关于竞争对手的信息就不再属实了。
这正是基准测试工作中的真正风险。一个过时的“无”并不是一个中立的错误。这是你无法证实的关于他人产品的断言。
在进行演示汇报时，还会出现第二种成本。如果有人问起为什么要将某个竞争对手纳入其中，而同行群体的规则从未被书面记录下来，那么整份报告就会变得充满争议。
如何使用 Powerdrill Bloom 构建报告
步骤 1：上传你的竞争对手电子表格
上传你收集的矩阵，如果它们是分开的，还可以加上你自己的指标文件。Powerdrill Bloom 会在导入时分析各列，因此在计算任何排名之前，空白单元格、混合单位和重复的竞争对手名称都会显现出来。
步骤 2：用自然语言描述对比
直接说明同行群体和基准，而不是构建公式。说明哪些竞争对手属于哪个细分市场、你使用的是哪种价格基准，以及哪些属性是数值型的。
然后提出能够发现错误的问题。询问哪些单元格缺少来源或日期，以及哪些属性记录的单位不统一。接着询问你自己的数据行在每个细分市场中处于什么百分位数。
步骤 3：导出图表、报告或幻灯片
导出排名表、定位图表或包含同行群体定义及结果的幻灯片。
为什么这比手动重建矩阵更好
| 手动途径 | Powerdrill Bloom | |
|---|---|---|
| 单列中包含混合的价格基准 | 手动进行标准化 | 说明基准并提问 |
| 每个属性的百分位数位置 | 每列使用公式 | 直接询问排名 |
| 没有来源或日期的单元格 | 抽查标签页 | 上传时自动显现 |
| 下个季度重新运行 | 重建表格 | 更换文件，保留规则 |
第三行是保护你的关键。基准测试报告中没有来源的单元格是一个隐患，而手动查找这些单元格恰恰是最容易被遗漏的检查步骤。
常见错误
根据品牌规模选择同行群体。买家是根据预算和待办任务来筛选候选名单的，而不是根据市值。请像你的买家那样去定义这个群体。
与平均值进行对比，而不是与分布情况对比。平均值掩盖了你是处于人群之中还是处于边缘。请同时报告百分位数和同行数量。
让价格保留在不同的基准上。按席位、按工作区、月付和年付不能共用一列。请确定一个基准并予以注明。
将目前缺失的功能记录为永久的“无”。功能是在悄无声息中上线的。为每个功能单元格记录日期，并在发布关于竞争对手的断言之前重新核对。
在较小的同行群体上使用排他性百分位数函数。极端的百分位数无法通过这种方式计算，并且会返回错误。请使用包含性变体并予以说明。
为了获得更大的样本而混淆细分市场。一个混合了企业级和自助服务的大集合，还不如一个虽然小但真实准确的集合。请进行拆分并做好标注。
在未说明权重的情况下报告评分。加权评分只是披着数字外衣的个人观点。要么公布权重，要么公布排名，并将结果与你实际管理所依据的领先指标和滞后指标结合起来。
结论
用一句话定义同行群体，定义每个属性列，标准化价格基准，并报告百分位数而不是平均值。这就是让基准测试报告顺利通过第一次评审的关键。
成本高昂的部分不是分析本身，而是每个单元格都有保质期，因此报告必须是可重新运行的，而不是每次都要重写。
如果你整个季度的时间都花在重建那个矩阵上，不妨在你已有的电子表格上试试 Powerdrill Bloom。另请参阅 用于竞争基准测试的最佳 AI 工具 汇总，以及 AI 竞争对手分析 和 AI 竞争情报 页面。
常见问题解答
基准测试报告中应该包含什么？
一个明确定义的同行群体、每个定义的属性占一列、根据你的数据自动生成的专属数据行，以及每个数值属性的百分位数位置。每个单元格都需要有来源和获取日期。
我需要多少个竞争对手？
数量要足够让百分位数具有实际意义，因此一个细分市场中有八到十二个竞争对手是一个合理的目标。如果少于五个，请将结果标注为仅具方向性参考价值，而非统计学意义。
我应该与平均值还是中位数进行对比？
单凭其中任何一个都不行。请报告你所处的百分位数，因为这才能回答实际的问题，并且在同行群体数据出现偏差时依然适用。
我从哪里可以获得站得住脚的竞争对手数据？
已公布的定价页面、官方产品文档和公开披露的文件是最站得住脚的，因为它们有据可查且带有日期。请在每个数据旁记录 URL 和日期。
报告应该多长时间更新一次？
价格和产品打包方式每季度更新一次，功能声明的更新频率应更高。功能可能会在没有公告的情况下发生变化，而一个过时的“无”是会损害可信度的错误。