AI Bias
AI bias
本文推荐的播客节目是来自 Nature Podcast 20 JUNE 2018期——Pancreatic cancer, silica cages, and AI bias
引言
-
AI如今热火朝天，但是在AI协助时可能会出现偏差，假若将AI决策系统引入到司法系统中，对于特定人群就可能产生更持久或强化原有的不公平。
-
癌症患者一般伴随着体型消瘦的症状，有的医生会尽可能向患者提供营养物，以减弱该症状，但最近针对胰腺癌的研究中，从动物模型和临床数据中发现提高患者的摄取营养的能力后，并不能显著提高患者生存率。后期的研究可能需要从内分泌（胰岛素）和外分泌（消化相关的酶）两个方面如何互作入手。
本期概要
-
00:49 自组装的硅胶
-
研究人员偶然发现了微小的二氧化硅结构
-
研究论文： Self-assembly of highly symmetrical, ultrasmall inorganic cages directed by surfactant micelles
-
-
06:33 使算法公平
-
AI系统中的偏差是否可以被检测，对此可以采取哪些措施？
-
新闻特稿：Bias detectives: the researchers striving to make algorithms fair
-
-
13:36 研究亮点
-
盯着超重元素的核心，以及大的蜘蛛如何随风而行。
-
研究亮点：First glimpse of a giant nucleus reveals its peculiar shape
-
-
15:11 癌症难题
-
新的研究旨在解决胰腺癌引起的体重减轻问题。
-
研究论文：Altered exocrine function can drive adipose wasting in early pancreatic cancer
-
-
21:35 新闻访谈
-
一个新的人类基因数量统计结果，以及世界杯阻碍了生物化学研究。
-
新闻：World Cup ban on radioactive chemicals frustrates Russian biochemistry labs（若需要免费下载完整版的论文，可在该网站中查看可访问的sci-hub域名。）
-
本文节选算法公平相关内容。（若需深入了解可查阅原节目页面。）
人工智能在如今生活中起着越来越重要的作用，有的公共部门已经开始使用这类系统。很多融入人工智能的系统都基于一个称为「机器学习」的方法，它是从大型的数据集中发掘学习特定的模式，并在输入新的数据时做出合适的判决。虽然在人工智能协助下人们工作压力得到了缓解，但是它们做出的决策也可能对人们生活带来不利影响，如何才可以确定一个系统好坏，如何评价其决策是否带有偏见呢？建立算法问责制可能是一个方向。
I mean, often it's, in my use cases it's there because of the data that we're bringing into the algorithms. Often those data come out of systems which themselves might have had human bias introduced. And so, the algorithm could correct for those biases, but they could also exacerbate those.And this is one of the ways that bias might be introduced. A machine learning algorithm can be trained by showing it many previous examples.
So, any existing bias found in the data it learns from could be repeated or amplified. Unfortunately, countering this is tricky, as a lot of these algorithms are part of closed proprietary systems, so knowing how any biases have come about can be difficult. But a closed system isn't necessarily the only way. Back in August 2016, Allegheny County, in the US state of Pennsylvania launched the algorithm-based Allegheny Family Screening Tool, designed to help call-centre staff assess whether a child is at risk of abuse. Rhema led the team hired to develop it.
So, the algorithm is simply a predictive analytic tool that grabs all the relevant data systems. It has been trained on an outcome which is whether the child is going to be removed from home in the subsequent two years, and it offers to that person at that call-centre, a number from 1 to 20, where 20 says this child is in the 5% most likely to end up with being removed from home in the two years following the call, and 1 means they’re in the lowest 5% likelihood.
Unlike many algorithm-based systems, the Allegheny Family Screening Tool was designed from the outset to be open. Meetings were held with researchers, officials, and the local community to talk about the system and how it might affect them. It’s also being independently assessed and the system is open to public scrutiny.
We're very passionate about transparency in this type of use, because I think we don't actually know what the right answer is often, like what is the fairest algorithm, what does fairness mean? But those are all decisions that really needed a kind of a conversation with the community and the agency and the researchers, and only transparency can give you that. I think when you're in these sorts of situations where you really have a diversity of opinions and all of them are just as valid in terms of how comfortable people are, how fair they think they are, what they mean by fairness, it's really important for that to come out through a community conversation.
（译文：我的意思是指通常情况下在我的使用的样本中就存在了偏差，然后我们通过数据将它带入算法。这些数据通常出自人为导致偏差的系统中。而该算法可以纠正这些偏差，也可能可能加剧这些偏差。*
这是可能引入偏见的方式之一。机器学习算法可以通过展示许多先例进行训练优化。因此，从其学习的数据中发现的任何已有的偏差都可以在后期的应用中重复或放大。不幸的是，这一问题十分棘手，因为很多这类的算法都是封闭式专用系统的一部分，因此了解偏差的发生方式可能很困难。但封闭系统并不是唯一的可选方案。早在2016年8月，位于美国宾夕法尼亚州的Allegheny县推出了基于人工智能算法的家庭筛查工具——Allegheny Family Screening Tool，旨在帮助呼叫中心工作人员评估儿童是否有遭受虐待的风险。 Rhema带领团队进行开发。
该算法只是一种捕获所有相关数据后进行预测的分析工具。该模型经过数据集训练以判断孩子是否将在接下来的两年内被带离家（以避免儿童受虐待），它向该呼叫中心工作人员提供1至20中的一个值，若是20表示这个孩子达到最高的5％的可能性在通话后两年内被带离家，若是1表示处于最低的5％可能性。
与许多基于算法的系统不同，Allegheny Family Screening Tool 从一开始就被设计为开放式的。与会者有研究人员、行政部门官员和当地社区成员，讨论该系统及其影响。它经过独立的评测且受公众监控。*
我们非常热衷于这种透明度高的使用方式，因为我认为我们实际上并不知道正确的答案是什么，比如什么才是最公平的算法，公平意味着什么？而这些正是需要社区，执行者和研究人员进行商讨才能作出的决策，只有高透明度才能达到此目标。我认为当你处于存有各种各样的意见的状态下，而且所有这些不同的意见在不同人的的舒适度而言是有效的，且他们认为自己的意见是多么公平时，那么公平对他们而言意味着什么呢？这真的需要通过社区对话来作出决定。）
人工智能是当今大热，似乎不沾点边就很out了。如果你对机器学习感兴趣，可以在Coursera上参加课程——机器学习。在课程中，吴恩达介绍了机器学习的基础知识，较为简单的一种机器学习方法是线性回归，其中最简单的模型即使用直线拟合数据集，使用拟合直线可以估算出新的数据。此外，人工智能另一个主要的应用是分类，通过已知的数据集训练出一个可靠的模型，再用其作为一个判别器对于新的数据进行分类。
在本期播客 shownote 给出的文章里就提及了一个案例，新闻网站 ProPublica 的记者报道了佛罗里达州 Broward 县法官使用的商业软件 COMPAS，一款协助决定嫌疑犯人是否应该在审判前被保释。记者表示，该软件对黑人被告有偏见。记者比较黑人和白人被告，发现不成比例的黑人被告是「误报」：他们被 COMPAS 归类为高风险，但随后未被指控犯有其他罪行。对此，媒体和公司，两者各执一词。
在使用人工智能时有一点需要深思，即在训练模型时，所使用的数据中是否就已经存在由于价值观、文化或历史原因，人为主观造成的偏差。若使用该数据集训练机器，且由于至今无法透彻理解算法内部运行情况而造成人为介入修正模型缺位时，由黑盒得出的预测结果就难以避免继承或加剧原有偏差这个弊端。此时可行的其中一个方法就如文中所讲的——人类需要在决策层中占有举足轻重的地位，而非放任机器自主决策，相反人们在使用这类系统应该尤为谨慎，仅将机器作为辅助。
文章中提到让从事人工智能系统开发的 Rhema Vaithianathan 记忆尤新的一件事：Vaithianathan 为救助受虐儿童中心开发人工智能标记系统，该系统会分析求助者的信息如家庭背景等，给出一个评分，以协助工作人员更有效地分配资源以制止家庭暴力。在介绍该系统的会议上，一个曾吸毒的父亲提问，他为了孩子已经洗心革面，但是否由于其过往的经历而会被机器「歧视」呢？根据前验情况其概率会更大，这样可能会将他的一直以来的努力都扼杀掉。）Vaithianathan 给出的答案是由于最后是有人为参与决策，因此其为此付出的努力并不会被低估。
将本来模仿人类大脑学习功能的人工智能黑盒「打开」是一个棘手的问题，因为我们对于自己的思考和学习模式仍未探索清楚。人工智能在研究和商业开发是注重点是不同的，商业更偏向于 "make it work"，而研究则需要弄明白 "how it work"，但在巨量数据集的推动下，使得模型越来越难以理解，业界对于模型的可解释性并给予重视，作为研究者更有责任揭开其面纱。
除了模型可解释行外，消费者层面则需要注意人工智能横行在我们的周边时，它会「投其所好」地向我们展示信息，由此我们会陷入一个自我封闭的困境，获得的信息带有严重的偏向性，难以接触到意向相悖的观点和资讯。如李如一老师在播客节目IT公论第34期《十本关于技术/文化/社会的好书》中谈及人工智能推荐系统时（time from 33:46-40:00），强调当我们热衷于生活在人工智能推荐系统中时，我们就如活在一个 filter bubble 中。为了不断开拓我们的眼界，探索未知，我们需要主动「打破」爱好，走出AI为我们打造的「舒适圈」，适当放弃「智能」理性选择科技服务现在看来是另一个值得深思的问题。
若想更及时地收到播客推荐及相关资讯，鼓励你在以下社交平台关注我们（各平台发布的文章和资讯均各特色）：
（如何订阅播客节目，iOS系统请参照此文章，Android系统请参照此文章）。
