《More than a Glitch Confronting Race, Gender, and A》技术中的偏见：种族、性别和能力歧视不只是一个小故障

• 计算机程序和算法在解决社会问题时是带有偏见的
• 为什么我们相信更多地运用科技会带给我们更好的世界科技沙文主义（Technochauvinism）让人们相信计算得到的解决方法一定是最优的。这种偏见的前提是假定认为计算机是优于人类的，实际上是在相信编写程序的人是优于其他人类的。但事实上计算机只是擅长数学上的运算，而数学上的公平和社会公平是两回事。
• 算法偏见所引发的问题经常被当作“aglitch”，一个小小的故障，是可以通过快速的codeupdate消除的，但我们要认识到这种偏见是根植于系统中的，从编写程序开始，很多unconscious bias就被带入了计算机程序中。我们不能认为计算机就是更中立更公平的，因为计算机程序也是人的产物。

---

人脸识别中的偏见

• 有色人种被错误识别的概率比白人高很多，在2019年对超过100个人脸识别系统的研究中，错误识别非裔美国人与亚裔的概率要比白人高10到100倍。
• Robert William因为警察部门使用的人脸识别系统被错误逮捕。识别程序通过模糊的监控图像匹配到了他，虽然这之中有人工核对，但可能这些人员也带有偏见（认为黑人长得差不多/黑人是小偷概率高），或者只是草草通过了事，总之过程中没有人提出怀疑。
• IBram XKendi认为non-racist和anti-racist是有很大差异的. non-racist is actually racist in denial, and anti-racist is someone who is willing to admit the times in which they are being racist, and who is willing to recognize and challenge the racial problems in the society. Moving from neutrality to anti-racism requires being vulnerable, you have to be willing to admit that you are wrong, and that you have certain privileges.（我认为这也适用于那些说“我不反对同性恋/女权，但我也不支持，我是中立的”的那些人，在这里没有绝对中立的立场，这样说的人只是打着中立的幌子的恐同/反女权者罢了，他们不会反思自己是不是有恐同/歧视女性的行为，对于社会中的不公平问题也是假装看不见的）。
• MIT medialab的joy buolamwini在使用人脸识别技术做项目的时候，发现摄像头无法识别自己，但当她戴上白色面具之后识别就成功了。她因此转而研究算法中带有的偏见，最终发表了“gendershades”的论文，揭示了人脸识别技术中所带有的性别与种族偏见（很大原因是dataset notdiverseenough造成的），造成了很大反响，使许多科技大厂们暂停了人脸识别的使用。17个城市也禁止了人脸识别技术的使用，但警察部门还是可以通过许多其他渠道进行使用。

---

司法系统中的偏见

• Predictive policing使用统计数据预测未来可能发生的犯罪。一种是person-based policing，预测谁有可能成为罪犯/受害者，另一种是place-based policing，根据过去的案件预测哪个特定地区有可能发生犯罪。警察会根据模型预测的结果被派遣到特定区域或关注特定的人，但这通常都是很无效的，甚至会对无辜的人造成伤害。一个例子是Robert McDaniel，芝加哥警方的预测系统认为他有可能会涉及枪击案，于是警察就频繁来造访他家，导致他的邻居们认为他是警方线人，结果因此他被枪击了。
• 警方使用的crime map其实是arrest map，根据逮捕数据生成的，而在现实警察逮捕黑人的概率要比白人高得多，所以当把这些数据给算法模型进行训练后，模型就会得出“黑人/黑人所居住地区犯罪率高”，进而更多的警察被派遣到黑人居住区，逮捕更多黑人，造成恶性循环。
• “White Collar Crime Risk Zones”艺术项目效仿警察的犯罪预测系统，使用算法与过往数据预测金融犯罪高发区。地图显示纽约曼哈顿是犯罪高发区，可能的嫌疑犯图像是企业高管的脸合成的。(让人思考为什么现实中没有这样的犯罪地图金融犯罪如逃税的金额比偷窃要高不知多少倍，但相对得到的关注很少)
• algorithms are opinions implemented in code. 完全自动化的系统不是最终答案，因为计算机不像人类一样有创造性、可以灵活地应对不同情境。我们需要人来检查计算机结果，也需要计算机来检查人做出的决定，同时要有额外的保障系统和灵活措施才可以迈向一个更好的社会。

---

教育系统中的偏见

• 墨西哥裔学生Isabel是在学校中每门课都会拿A的尖子生，为了节省大学开支参加IB考试，却得到了比预想中差很多的结果。后来她发现IB分数是根据学校学生过往学生的成绩、老师预估分数计算得到的。她所在的学校学生家庭大多不富裕、之前几届IB分数都不高，但仅仅因为过往成绩就否定了她和同届很多学生的努力，是非常不公平的。
• 当使用这样的算法系统时，有一个可以快速申诉的渠道是很重要的。当然最好的方法是不使用这种充满偏见与漏洞的系统，尤其是这些决定会影响一个人一生的时候。

---

医疗系统中的偏见

• 在等待肾脏移植的病人中，GRE值需要小于20才能优先移植，但计算GRE分数的等式也有种族一项，因为平均来说African American的“muscle mass”要更高，所以在计算时African American就会排到后面。
• 为了不把现实中的偏见带入算法中，应该注意physical bias、computational bias、interpretation bias. physical bias是物理器械上的偏见，比如血氧仪在更白的皮肤上效果更好；computational bias可能会源于数据集不够丰富，比如检测皮肤病的数据集中浅色皮肤的数据更多；interpretation bias是医生对检测结果进行分析时带入偏见，比如给黑人患者更高的GRE分数。

---

科技与无障碍

• 斜坡效应-最初为残障人士修建的路边斜坡也方便了推婴儿车、拉行李箱等更多的人，这种以无障碍为出发点的设计最终造福广大人群的现象在科技领域也很常见，比如实时字幕也方便了学外语的人，ios的辅助触控成为了home键坏掉时的替代方案。
• 换个思维方式，从“无障碍设计是为了照顾一小部分人做的额外工作”转变为“从无障碍出发，可以引发很多创新，最终使很多人收益”。
• 很多时候设计学校、像IDEO这样的公司创造了很多“disability dongle”，a well-intended elegant, yet useless solution to a problem that people with disabilities dont knew they have.这些人从自己的经验视角出发做无障碍设计，比如可以爬楼的轮椅，但其实残障人士们根本不需要，他们觉得这种轮椅很吓人、也会很贵，他们真正想要的是多一些电梯、斜坡。

---

性别与数据库

• 为了节省数据库内存，很多系统的性别选项都只有男/女，对应布尔值0/1进行存储，虽然在代码层面来说是很高效的，但把cis-normativity（顺性别正常主义）强加于人，对非二元性别、跨性别、酷儿等人群来说是一种暴力。
• Facebook虽然表面上让用户可以选择除男女之外的不同性别，但实际上他们的系统存储的是男/女或空（Null）。
• 人脸识别、安检等科技对跨性别者也是很不友好的。

---

如何消除算法偏见

• Algorithm auditing算法审计，检查算法是如何运行的，是否有不公平、带有偏见的地方，是否有违法的地方，以此为基础进行改进。可以分为内部审计和外部审计，外部审计一般是记者报道或学术组织进行研究。
• 欧盟2021 AI legislation把AI分为高风险AI（high-risk AI）和低风险AI（low-risk AI），高风险AI比如人脸识别在警察系统中的运用，低风险AI是像用人脸识别解锁手机。这项法律要求任何使用高风险AI的人进行登记并定期证明所使用的AI是不带有歧视的。同时建议公司运用 regulatory sandbox 来测试他们的算法，进行检查评估。
• 把AI、算法当作一种“魔法”虽然能让我们轻松一些，不用费力去理解它了，但也会导致我们不再关注它的缺点与漏洞。只有当我们批判看待科技，选择性地让科技进入我们的生活，我们才能停止把旧的偏见带入新科技，离我们想要的更好的更公平的世界近一点。