Super Sale WeekClaude Skills — 20% OFF
Tips

如何在数据集中无需编写代码寻找异常值(2026指南)

Powerdrill Team·
如何在数据集中无需编写代码寻找异常值(2026指南)

您无需编写代码,即可使用 IQR 规则、Z 分数或箱线图来查找异常值——这三种方法都适用于电子表格。IQR 规则会标记超出四分位数 1.5 倍四分位距的值;Z 分数则标记距离平均值超过三个标准差的值。它们经常会得出不同的结果,而理解其中的原因才是真正的关键所在。

找出异常值只是简单的一半。决定如何处理它,才是决定你的分析是否真实客观的关键,而没有任何一种方法能替你做出这个决定。

本指南将介绍为什么这两种标准方法会得出不同的结果,以及三种无需代码即可检测异常值的方法。接着,它将探讨如何决定是应该删除、保留还是单独报告某个异常值。

为什么处理异常值不仅仅是“直接删除”那么简单

两种标准方法在设计上就存在分歧

IQR 规则基于四分位数,而四分位数是位置指标。它不关心数值有多极端,只关心它在排序后所处的位置。这使得它不易受到它所要寻找的异常值的干扰。

Z 分数基于平均值和标准差,而这两者都会受到极端值的影响。一个极大的数值会拉高标准差,从而缩小每个 Z 分数——包括它自己的 Z 分数。在小型数据表中,单个显著的异常值可能会通过这种方式将自己隐藏起来。

这就是为什么同一列数据在 IQR 规则下可能会显示四个异常值,而在 Z 分数下只显示一个。这些方法并非不一致,而是它们测量的是不同的东西。

决策并非仅靠统计学

在一堆 200 美元的订单文件中,一笔 200 万美元的交易会被所有方法标记为异常。但是否应该将其删除,取决于任何统计方法都无法获取的实际情况。

如果是由于小数点点错导致的数据录入错误,请将其删除。如果是真实的企服大单,将其删除就会把您最重要的客户从分析中排除。如果是有人忘记清除的测试交易,请将其删除并检查是否有其他类似交易。三种不同的处理方式,对应的是完全相同的异常标记。

分布形状会打破假设

这两种标准方法都假设数据大致呈钟形分布。然而,收入、页面浏览量、订单金额和会话时长通常呈偏态分布,带有长长的右尾,在这些情况下,高数值是常态而非异常。

如果对这类数据列应用 Z 分数规则,您会把大量完全普通的数据标记为异常。解决方法是先检查数据分布形状,并考虑进行对数转换或改用基于百分位数的方法进行截断。

这会给您带来什么代价

无法代表任何人的平均值。 单个极端值就足以拉动平均值,使其偏离大多数数据实际所在的范围。而决策往往是基于这个数字做出的。

坐标轴无法阅读的图表。 一个比其他数值大十倍的值会将其他所有数据压缩到靠近底部的一条扁平线上。该图表在技术上是正确的,但无法传达任何信息。

悄无声息的删除。 最糟糕的结果是,有人在共享文件之前悄悄删除了不合适的数据行。下游的任何人都不知道基数已经改变,导致结果无法复现。

三种无需代码查找异常值的方法

方案 1:IQR 规则

使用 QUARTILE 函数获取第一和第三四分位数,然后相减得到四分位距(IQR)。标记任何低于 Q1 减去 1.5 × IQR 或高于 Q3 加上 1.5 × IQR 的值。

这是默认的首选方法:它对极端值具有抗干扰性,且不需要分布假设。在严重偏态的数据上,它仍然会过度标记右尾,因此在信任该计数之前,请先检查分布形状。

方案 2:Z 分数

使用 STDEV.P 计算平均值和标准差,然后计算每个值距离平均值有多少个标准差。通常以超过三个标准差作为阈值。

这在偏对称的数据上效果很好,并且能为您提供一个偏差幅度,而不仅仅是“是或否”的标记,这对于排序非常有用。但在小样本和偏态数据列上,它并不太可靠。

方案 3:箱线图

将数据列绘制为箱线图,并读取须线以外的点。Excel 的箱线图采用相同的 1.5 × IQR 惯例,因此结果与方案 1 一致。不同之处在于,您可以同时直观地看到分布形状。

这是检查另外两种方法是否适用的最快方式。如果箱体紧贴一端且带有长尾,请对任何阈值规则保持警惕。

这三种方法共同面临的瓶颈

每种方法都会返回一个被标记的数据行列表。但它们都无法告诉您哪些标记是错误的、哪些是真实的极端值,以及哪些仅仅是因为数据列呈偏态分布而非数据“脏”。

要回答这些问题,需要结合上下文查看被标记的行。例如,该行中还有哪些其他数据;它们是否集中在某一个时间段或某一个源系统中;同一个客户是否重复出现。这是调查,而非计算,也是实际耗费时间的地方。

如何使用 Powerdrill Bloom 查找异常值

步骤 1:上传您的数据

上传 Excel 或 CSV 文件。Powerdrill Bloom 会在文件导入时对每个数据列进行画像分析,因此在您选择检测方法之前,分布形状和极端值就已经清晰可见。

使用 Powerdrill Bloom 上传电子表格以查找数据集中的异常值

步骤 2:用自然语言描述检查需求

直接提问:标记该列中超出 1.5 倍四分位距的值,然后向我展示完整的行以便查看上下文。接着提出有助于做出最终决策的问题。例如,被标记的行是否按日期或来源聚集、相同的标识符是否重复出现,以及如果排除这些行,汇总统计数据会发生怎样的变化。

步骤 3:导出图表、报告或幻灯片

导出箱线图、带有上下文的被标记行表格,或者记录了排除哪些行及其原因的书面说明。

从 Powerdrill Bloom 导出的带有标记异常值行的箱线图

为什么这优于手动检测

电子表格方式 Powerdrill Bloom
对比 IQR 和 Z 分数结果 两套公式,手动比对 直接要求同时提供两者
查看被标记值周围的上下文 筛选并滚动查看 随数据行一同返回
先检查分布形状 构建直方图 上传时自动进行画像分析
测试排除异常值的影响 复制工作表 直接要求提供两个版本

最后一行最为关键。处理不确定异常值的客观方法是同时报告包含和不包含该异常值的结果。让读者看看结论是否取决于某一行数据。在电子表格中进行这种对比需要重新构建数据,这就是为什么这种对比通常不会发生的原因。

最佳实践:决定如何处理异常值

排除前先调查。 查看整行数据。在单个数据列中,点错的小数点、测试记录和真实的超级大客户看起来是完全一样的。

绝不悄无声息地删除。 如果您排除了某些行,请在呈现结果的同一份文档中说明排除了多少行以及原因。在没有说明的情况下改变了数据基数的分析是无法复现的。

在关键时刻报告两个版本。 如果一个结论会因为某个单一数值而发生逆转,那么这本身就是一项发现,而不是一个需要被清理掉的麻烦。

在选择阈值前先检查分布形状。 偏态分布的数据列需要使用基于百分位数的截断或对数转换,而不是 Z 分数规则。

注意聚集现象。 在同一日期或来自同一来源的多个异常值通常意味着数据管道存在问题,而不是出现了真正异常的客户。我们关于清洗和去重数据的指南涵盖了这种情况。

结论

无需代码查找异常值归结为三种工具。IQR 规则是一个具有抗干扰性的默认选择,Z 分数适用于您需要了解偏差幅度且数据大致对称的情况,而箱线图则用于检查这两种假设是否成立。它们得出不同的结果是正常的,请将这种分歧视为有价值的信息。

任何方法都无法涵盖的部分是决策。如果因为调查每一行数据太慢,导致您的异常值处理工作止步于标记数据列,不妨对该文件尝试使用 Powerdrill Bloom。另请参阅我们的 AI 数据清洗页面、运行描述性统计指南,以及将 CSV 转换为图表

常见问题解答

数据集中什么样的数据算作异常值?

按照惯例,超出第一或第三四分位数 1.5 倍四分位距的值,或者距离平均值超过三个标准差的值。这两者都是惯例而非定律,具体适用哪一种取决于您的数据是大致对称还是偏态分布。

如何在 Excel 中无需代码查找异常值?

使用 QUARTILE 函数构建 IQR 边界并标记超出边界的值,或者使用平均值和 STDEV.P 计算 Z 分数。箱线图可以直观地给出相同的 IQR 结果,并同时显示分布形状。

我应该从分析中删除异常值吗?

只有在确定其产生原因之后才应该这样做。数据录入错误和测试记录应该删除;而真实的极端值通常不应该删除,因为删除它们会抹去真实的信息。当情况不确定时,请同时报告两种结果。

为什么 IQR 和 Z 分数会标记不同的值?

IQR 基于四分位数,极端值无法对其产生干扰。Z 分数基于平均值和标准差,极端值会对其产生干扰。一个足够大的数值会拉高标准差,从而可能将自己隐藏起来。

如果我的数据是偏态分布而不是钟形分布怎么办?

对于收入或订单金额等偏态分布的数据列,标准阈值会过度标记长尾数据。请使用基于百分位数的截断,或先对数据列进行对数转换,并在选择任何规则之前检查分布形状。