机器学习算法越来越多地决定信用，医疗诊断，个性化建议，广告和就业机会以及其他事情，但完全如何仍然是一个谜。现在，Carnegie Mellon大学研究人员开发的新测量方法可以为此过程提供重要的见解。
这是一个人的年龄，性别或教育水平，对决定产生最大影响吗？这是一个特定的因素组合吗？CMU的定量输入影响（QII）措施可以为最终决定提供每个因素的相对重量，计算机科学与电气计算机工程副教授Anupam Datta表示。
“随着算法决策系统的使用增长并且人们意识到这些系统介绍或延续种族或性别歧视或其他社会危害的潜力，算法透明度的要求正在增加随着这些系统的潜力，”Datta表示。
“一些公司已经开始提供透明度报告，但在这些报告的计算基础上工作已经有限，”他继续。“我们的目标是制定一个系统所考虑的每个因素的影响程度，这些因素可用于产生透明度报告。”
这些报告可能会响应特定事件而产生 - 为什么个人的贷款申请被拒绝，或为什么警方针对个人进行审查或促使特定医疗诊断或治疗的人。或者，他们可能会被组织主动使用，看看人工智能制度是否根据需要工作，或由监管机构看出决策系统是否不恰当地歧视人群之间。
Datta，以及Shayak Sen，Ph.D.计算机科学的学生和计算机科学部门的博士后研究员yair Zick将在加利福尼亚州圣何塞的San Jose，在IEEE安全和隐私权上提出了他们关于秋海的齐。
Datta表示，生成这些QII措施需要访问系统，但不需要分析系统的代码或其他内部工作。它还需要对最初用于培训机器学习系统的输入数据集的一些了解。
秋秋措施的独特特征是，他们可以解释一大类现有机器学习系统的决定。事先工作的重要机构采用互补的方法，重新设计机器学习系统，以使其决定更加解释，并且有时会在过程中失去预测准确性。
邱衡量衡量衡量影响的相关投入。例如，考虑一个有助于为移动公司招聘决策的系统。两个输入，性别和举重重量的能力，彼此正相关，招聘决策。然而，透明度是系统是否使用举重能力或性别在制定其决策方面具有实质性的影响，以确定它是否参与歧视。
“这就是为什么我们在定义齐均纳入因果测量的想法，”森说。“粗略地，为了衡量上述例子中的特定个人的性别对特定个人的影响，我们将举重能力固定，改变性别和检查决定是否存在差异。”
观察单个投入可能并不总是具有很高的影响，齐均措施也量化了一组投入的联合影响，例如年龄和收入，在该集合内的每个输入的结果和边际影响。由于单个输入可以是多重影响集的一部分，因此使用先前应用于测量收入划分和投票的影响来计算输入的平均边际影响。
“为了了解这些影响措施，考虑美国总统选举，”Zick说。“加州和德克萨斯州有影响，因为他们有很多选民，而宾夕法尼亚州和俄亥俄州有权力，因为它们通常是挥杆状态。我们雇用两种权力所雇用的影响汇总措施。“
研究人员对某些标准机器学习算法进行了测试的方法，它们用于在真实数据集上培训决策系统。他们发现，齐均提供了比他们考虑的一系列情景的标准关联措施提供更好的解释，包括预测政策和收入预测的样本应用。
现在，他们正在寻求与工业合作伙伴的合作，以便他们可以在运营机器学习系统上以规模雇用齐。
提交：M2M（机器到机器）
