来源：亿欧

概要：随着越来越多的自动化决策，能够理解AI如何思考对我们来说变得越来越重要。

随着越来越多的自动化决策，能够理解AI如何思考对我们来说变得越来越重要。从挑选股票到检查X射线，人工智能越来越多地被用来做一些决策，而这些决策从前都是由人类所做。但是人工智能只是像它处理的数据一样好，在多数情况下，我们还是把人性的偏见都当成了可能对人们的生活产生巨大影响的算法。

研究人员在一篇发表在arXiv上的新论文中说，他们可能已经想出了一种方法来排减难以被外人检查的算法的问题——所谓的“黑匣子”系统。

出现偏差的一个特别令人不安的地方是风险评估模型，例如它可以决定一个人获得保释或批准贷款的机会。通常在这种情况下考虑种族等因素是非法的，但算法可以学习识别和利用这样一个事实，即一个人的教育水平或家庭住址可能与其他人口统计信息相互关联，种族偏见和其他偏见可能通过这些信息有效地渗透到他们的脑海中。

是什么让这个问题变得更加棘手？许多用来做出这些选择的AI都是黑匣子，要么是它们太复杂，不易理解，要么是公司拒绝解释专有算法。研究人员一直在使用工具来了解发生了什么，但是这个问题是普遍存在的，并且在不断增长。

在这篇论文中，当时在微软工作的Sarah Tan和他的同事尝试了两种黑箱风险评估模型：一种是同等规模公司LendingClub的贷款风险和违约率，另一种是Northpointe，该公司向全国各地的法院提供基于算法的服务来预测被告的累犯风险。

研究人员使用双管齐下的方法来阐明这些潜在的有偏算法是如何工作的。首先，他们创建了一个模拟正在检查的黑盒算法的模型，并根据初始数据集创建风险评分，工作原理同LendingClub和Northpointe一样。然后，建立第二个模型，他们针对现实世界的结果，用该模型确定最初数据集中对最终结果重要的变量是哪些。

对于LendingClub，研究人员分析了从2007年到2011年的一些到期贷款的数据。LendingClub的数据库包含了许多不同的领域，但研究人员发现，该公司的贷款模式可能忽略了申请人的年收入和贷款目的。因为申请人自己报告收入并且可以伪造收入，因此忽略收入尚情有可原。但贷款目的与风险高度相关，例如，小企业的贷款比用于支付婚礼的贷款风险大得多。所以说LendingClub似乎忽略了一个重要的变量。

与此同时，Northpointe说，COMPAS算法在提出量刑建议时不把种族作为变量。然而，ProPublica的一项调查表明，在COMPAS帮助下记者收集了被判刑的被告的种族信息，并发现了种族偏见的证据。在他们的模拟模型中，研究人员使用ProPublica收集的数据以及被告的年龄、性别、收费等级、先前的定罪数量、此前的服刑时间等信息。该方法与ProPublica的研究结果一致，这表明COMPAS可能偏向于某些年龄和种族群体。

批评者可能会指出，这些并不是确切的副本—因为是没有必要的，研究人员进行了大量有依据的猜测。但是马萨诸塞大学的助理教授Brendan O'Connor发表了一篇关于自然语言处理偏见的论文，他说，如果利用某种算法的公司不愿意发布其系统如何工作的相关信息，这个研究中的近似模型则是获得洞察力的一个合理方法。

奥康纳说：“我们需要意识到这一切正在发生，而不是闭上眼睛，假装什么都没有发生。