本文共字，预计阅读时间。

2018年，欧盟颁布了一道了不起的法令——《一般数据保护条例》（GDPR）》。

它未被国人重视的严重性，正如它深远、前瞻的伟大性一样不可忽视。

这则法令最重要的两个原则在于：

1、最大限度的保护个人隐私，严格限定企业、政府对个人信息数据的使用条件。将科技、人工智能、数据渗透阻挡于个人隐私之外。

2、要求人工审查重要的人工智能中的算法决策，提供个别算法决策的详细解释或关于算法如何做出决定的一般信息。这一条款将大大降低技术黑箱问题的存在。

通俗并且简而言之，这两个原则，试图保护人类个体不受愈发失控的技术黑箱之侵害。

如果不受限制，技术黑箱将导致怎样的后果？

01 技术黑箱

2016年3月23日，微软公司的人工智能聊天机器人Tay上线一天后“学坏”。出乎意料的满嘴种族歧视和性别歧视言论，成为了一个集反犹太人、性别歧视、种族歧视者。于是微软公司紧急下线了Tay。

Tay事件被视为典型的技术黑箱案例，Tay被设定模仿典型的“千禧年一代”的日常谈话，它最初的数据和内容来自一些谐星的公开言论，但经过一天和人类线上聊天后，它并不知道自己汲收了什么，说出了什么。

2016年开始，中国的监管者开始要求P2P网贷信息披露透明。这仍然是一个伪命题，在P2P平台和借款人那里，仍然存在着很多黑箱。如，因为商业利益或保密的借口，企业会模糊化或往有利的方向描述自己的经营情况、风险信息。在平台上，对借款人风险的评估，存在数据黑箱。

法学教授弗兰克·帕特洛伊(Frank Partnoy)和普利策奖获得者杰西·艾辛格(Jesse Eisinger)曾于2013年年初共同研究过”美国银行的内幕“，他们在报告中把银行描述为“掩盖了巨大风险的‘黑箱’，这些风险可能会再次击垮经济”。

“现在没有哪家大型金融机构的财务报表能够提供有价值的风险信息。”在报告中，一位对冲基金经理人如是说。

02 金融黑箱制造者

金融科技化之后，越来越多的黑箱产生，并未使得金融科技更加透明。

黑箱的种子与土壤到处都是，如黑产军团、数据倒卖行为、大数据信审、人工智能深度学习、机器决策…

金融科技黑箱使得监管越来越难。

过去几年里，P2P网贷和互联网信贷的经营者往往津津乐道的拿出他们的大数据风控系统吹嘘一番。

一家借贷平台在他的大数据风控的系统中输入一个人用户数以千计的社交数据、搜索数据、浏览数据、交易数据等，经过深度学习和决策模型的计算，最终可能将一个人的信用定为不及格，但这其中的具体决策过程是什么，企业不会告知你。

更甚至于，这个决策过程中出现程序错误、算法歧视时，电脑试图向程序员解释时，程序员也无法明白。

哥伦比亚大学的机器人学家 Hod Lipson曾说：“这就像是向一条狗解释莎士比亚是谁。”

这意味着，蚂蚁金服、百度、腾讯、今日头条们津津乐道的精准营销获客与大数据风控定价，都在制造一个个黑箱。

被问及Google公司如何进行私下操作时，前首席执行官埃里克·施密特(Eric Schmidt)曾经回答：“Google的政策就是和警戒线打擦边球。”

过去几十年，美国民间与政府的博弈过程中，进步人士曾试图要求一些机构公布其人工智能决策的逻辑与原理，最后都被后者以“商业保密”借口驳回。

在人工智能决策的黑箱里，这些过程最后变得无可奉告。

03 黑箱金融里的中国金融科技

目前，中国的现金贷、互联网信贷、大数据风控都在黑箱化。

在未能出台个人信息数据运用细则的中国环境中，金融科技机构正在用学历、户籍、种族等一切信息轻易地给你更高的风险定价甚至于拒绝你的贷款。

《从业经历和教育背景是否能提高借贷成功率？——来自P2P平台的经验证据》一文证实了学历在P2P借贷中的正相关因素，它指出，教育程度在1%的显著水平上与借贷成功率呈正相关关系。此外，性别、领域对借款能否成功产生影响。

蚂蚁金服的芝麻信用在经过用户填写后会将学历信息纳入信用分评估中

中国央行研究局局长徐忠曾表示，如果将客户个人信息用于信用评估时，可能影响信贷的公平性，有一些指标比如性别、地域、职业等可能对客户的还款能力有解释力，但根据这些指标进行放贷，会涉及到对某些人群的歧视。

但在人工智能的决策黑箱里，这些都看不见。

在人工智能的深度学习与决策黑箱里，有一个现象值得说明，比如互联网信贷，人工智能深度学习后的决策系统对有过违约记录的用户往往收取更高的利息，在这一过程中，违约者曾经未能及时还款的原因却是未知的，可能他拒绝支付，也可能是因为家里出了紧急事故，但人工智能决策的歧视性已经出来。

在现金贷平台那里，大数据信审的黑箱歧视性给予借款人过高的利率定价，往往容易导致借款人违约，而违约后的歧视性利率定价，可能再次导致借款人违约，造成恶性循环。

一旦基于人工智能决策对身背污点者的歧视性信审体系成型，就会演变成进行压迫的工具，而受压迫者却丝毫没有还击之力。

黑箱金融造成的一个后果是，互联网理财资产负债表会越来越不透明并复杂化，要维系这个黑箱金融持续下去，就要牺牲拥有现实资金的投资者。

过去几年里，死于、受害于P2P网贷资金池、其他互联网理财的平台和投资人就是这个例子。

欧盟GDPR的出台，可以视为对技术风控黑箱一种反驳机制。

04 公正对效率的伟大制衡

面对黑箱， 即使机构告诉用户信息收集者会如何使用这些数据，只要他们同意，隐私也不一定能得到保护。

帕斯奎尔在《黑箱社会：控制金钱和信息的法则》里的大体主张是：放弃知情同意这种形式上的做法，去严格监管实际使用这些数据的企业和政府机构。

我们回过头来再看看GDPR了不起的地方。

欧盟GDPR了不起的地方在于无视利益集团、牺牲科技革新的速度，将科技进步控制在可理解的天花板里，而非放任在失控的黑箱中。

GDPR强化对自然人数据的保护，它将个人敏感数据排除在人工智能的自动化决定之外。

一百年前，路易斯·布兰戴斯(Louis Brandeis)曾经发表言论“阳光是最好的杀毒剂”。

尽管来自美国的批评声音认为，GDPR对欧洲人工智能的开发和使用产生负面影响，带来高昂的创新和生产成本，并将使欧盟企业与北美和亚洲等竞争对手相比处于劣势地位，且对保护消费者没有多大作用。

在没有更好的办法之前，欧洲GDPR仍是目前最了不起的法案。

令人恐惧的是，在人工智能+大数据时代，“知情”具有破解“黑箱”的优势，但“保密”却有相对“知情”更大的优势。

“商业保密”成为企业维持黑箱决策的借口。

在金融黑箱的失控下，蚂蚁金服或腾讯、百度们，甚至于美团、携程们，有可能成为金融科技领域的新权威者。

而正在为金融黑箱埋单的，就是你我。

本文主要参考资料：《黑箱社会：控制金钱和信息的法则》

[Source]

本文系未央网专栏作者发表，属作者个人观点，不代表网站观点，未经许可严禁转载，违者必究！

本文为作者授权未央网发表，属作者个人观点，不代表网站观点，未经许可严禁转载，违者必究！

本文版权归原作者所有，如有侵权，请联系删除。