论文中的准确率指标靠谱吗？5个机器学习悖论改变你对数据的看法

晓查 2019-05-11 14:30:33 来源：量子位

晓查 编译自 Medium

量子位 报道 | 公众号 QbitAI

道路越多越拥堵、越智能的算法需要的计算力越少。这些反常识的机器学习悖论你知道是怎么回事吗？

悖论是在哲学和数学中常见的一种问题，它是根据假设前提得出了两种互相矛盾的结果。AI就是重构人类的认知方法，所以机器学习也会产生一些悖论。

最近，数据科学家Jesus Rodriguez总结了机器学习解决方案中最著名的5个悖论，或许能帮助你更深刻地理解AI中的数据，避免在处理数据的时候出现一些低级错误。

Simpson悖论

这个悖论是以英国数学家Edward H. Simpson的名字命名的。

Simpson悖论是指在分类统计时，某组数据具有优势，而把所有数据组合起来的时候，这种优势却消失了。

1973年，伯克利大学由于女性在入学时存在性别差异而被起诉。有人调查了伯克利大学研究生院的录取率发现：各学院女性入学率均高于男性，但是总体入学率反而低于男性。这怎么可能？

在这个具体的例子中，妇女大量申请入学率低的学校：像法律和医学。这些学校录取的学生不到10％。因此，接受的女性比例非常低。另一方面，男性往往更多地申请入学率高的学校：与工程学一样，入学率约为50％。因此，接受的男性比例非常高。

在这个具体的案例中，因为女性大量申请入学率低的学院，比如法律和医学，这些学院的录取率甚至不到10%；而男性往往更多地申请入学率高的学院，比如工程，录取率高达50%。因此，男性总的录取率高于女性。

用机器学习的术语来说，就是简单平均值不考虑整个数据集内特定类别的关联性。

许多无监督学习算法推断出不同训练数据集的模式，当这些数据集组合起来时会产生矛盾。

Braess悖论

这个悖论是德国数学家Dietrich Braess在1968年提出的。他以拥堵的交通网络为例：

在道路网络中增加一条道路可能会阻碍交通，而封闭一些道路可能会缩短出行时间。

Braess的推理是基于这样一个事实：在纳什均衡博弈中，司机没有动力改变他们的路线。根据博弈论，如果其他人坚持同样的策略，那么这个人从新策略中将不会有任何收获。

在上图中，从A点到D点有A→B→D和A→C→D两条路可走，当开通近道B→C后，所有车都走近道，导致拥堵。

对于司机来说，策略就是一条路线。就Braess悖论而言，尽管整体表现有所下降，但司机们将切换道路，直到达到纳什均衡。因此，与直觉相反，关闭某些道路可能会缓解拥堵。

Braess悖论在自主的多智能体强化学习场景中非常重要，在这种场景中，模型需要基于未知环境中的特定决策来奖励智能体。

Moravec悖论

上世纪80年代，卡内基梅隆大学移动机器人实验室主任Hans Moravec，对AI模型获取知识的方式提出了一个反直觉的命题：

高级推理比低级无意识认知需要更少的计算力，它与“计算力越强则系统越智能”的直观概念背道而驰。

一种简单的解释Moravec悖论的方法是：

AI模型可以完成非常复杂的统计和数据推理任务，这些任务对人类来说是不可能的。然而，许多对人类来说微不足道的任务，比如抓取物体，需要复杂的AI模型。

正如Moravec所说的，“让计算机在智力测试或玩跳棋时表现出成人水平的表现相对容易，而在感知和移动性方面，让它们具备一岁孩子的能力却很难，甚至不可能做到。”

从机器学习的角度来看，Moravec悖论在迁移学习方面非常适用。迁移学习的目的是在不同的机器学习模型中推广知识。此外，Moravec悖论告诉我们，机器智能的一些最佳应用将是人与算法结合。

准确性悖论

准确性（Accuracy）悖论与机器学习直接相关。

与直觉相反，准确性并不总是对预测模型有效性进行分类的良好指标。

怎么解释这样一个复杂的表述呢？准确性悖论源于不平衡的训练数据集。

例如，在A疾病的发病率较高的数据集中，发现了99%的病例，那么预测发现A疾病的准确率为99%是完全具有误导性的。

理解准确度悖论的一个更简单的方法是在机器学习模型中找到精确率（precision）和召回率（recall）之间的平衡。

在机器学习算法中， 精确率定义为你对正确的预测中哪一部分是有效的，它=真阳性/(真阳性+假阳性)。召回率指标衡量你实际上预测正确的概率，它=真阳性/(真阳性+假阴性)。

在许多机器学习模型中，精确率和召回率之间的平衡可以获得更好的准确度。

例如，在用于欺诈检测的算法的情况下，召回率是更重要的指标。即使存在一些误报也要尽可能抓住每一种可能的欺诈行为。

另一方面，如果为情绪分析创建算法，并且需要的只是在推文中指出的高级情感概念，那么精确度更重要。

哥德尔悖论

哥德尔悖论将机器学习模型的能力与哥德尔不完备定理联系起来。1931年，数学家哥德尔发表了他的两个不完备性定理：

使用标准数学语言无法证明某些命题是真是假。

也就是说，数学是一种不足以理解宇宙某些方面的语言。这些定理被称为哥德尔的连续统假设。

在最近的一项工作中，以色列理工学院的AI研究人员将哥德尔连续统假设与机器学习模型的可学习性联系起来。

研究人员证明，如果连续统假设是真的，一个小样本就足以进行推断。但是如果它是假的，没有一个有限样本是足够做推断的。

通过这种方式，他们表明可学习性的问题相当于连续统假设问题。

简单来说，研究中的数学证明表明，AI问题受到哥德尔连续统假设的影响，这意味着AI可能无法解决许多问题。

虽然这个悖论在今天对现实世界中的AI问题影响不大，但对于AI在将来的发展是至关重要的。

总结

悖论在机器学习问题中无处不在。虽然算法没有常识的概念，它们可能不受统计悖论的影响。

然而，大多数机器学习问题需要人工分析和干预，并且基于人类收集和标记的数据集，我们还将在很长一段时间内生活在一个悖论的世界中。

原文链接：

https://towardsdatascience.com/five-machine-learning-paradoxes-that-will-change-the-way-you-think-about-data-e100be5620d7