2019 年，是人工智能技术 (以下简称 AI) 逐渐开始降温的年份。在 Gartner 8 月份发布的技术成熟度曲线上，所有的 AI 应用都还没有越过第二阶段的泡沫顶峰。

尽管 AI 技术还处于发展的初级阶段，离大规模商用还有相当远的距离，但这一点也不妨碍 AI 技术给人类社会带来各种麻烦和争议。2019 年 AI 给人类带来的麻烦和潜在的风险，包括了其中以下方面：

信息伪造

使用 AI 技术进行图像和视频编辑是 AI 应用最广泛和最成熟的领域之一。随着越来越多的开源软件可以自动化完成相关的视频图像编辑操作，有一天这个技术门槛终于被彻底推倒了。

2017 年底，一个名叫“deepfakes”的用户匿名在社交平台 Reddit 上传了基于对抗式神经网络开发的程序包，提供视频编辑“换脸”操作的功能。2018 年 1 月，一款名为 FakeApp 的手机应用在应用商店上架，进一步提供傻瓜操作视频“换脸”。短时间内，从名人视频“换脸”到成人视频“换脸”，各种“成果”蜂拥而出。但总的来说，2018 年时的 AI“换脸”视频的细节处理还比较粗糙，很容易被识破。

让公众震惊的时刻终于到来。2019 年 5 月，一个名为“Ctrl Shift Face”的账号在 YouTube 上传了一段比尔•哈德尔的高清访谈视频。在视频过程中，比尔•哈德尔的面部逐渐演变为阿诺德•施瓦辛格的面部，中间的“换脸”过渡几乎是天衣无缝，而且是渐变式完成的。这段三分钟的视频最终被观看 1200 万次，并得到了 15 万次的点赞。

AI 的视频伪造技术终于达到了以假乱真的水平。并且由于模型开源的缘故，AI 伪造技术目前对使用者的要求极低，只要有基本的编程常识，按图索骥就可以搭建类似的 AI 运行环境。

互联网巨头们坐不住了。这种能够轻易污染信息源，生成虚假信息的“核武器”目前已经开始散落在民间。互联网巨头们必须重新掌握筛选甄别虚假信息的能力，否则就无法抵抗来自民间的海量虚假内容的“攻击”。

2019 年 9 月，Facebook 宣布将投资 1000 万美元发起 Deepfake 检测挑战赛 (Deepfake Detection Challenge)。这并不是鼓励 Deepfake 技术的进一步发展，而是希望借助挑战赛全面了解 Deepfake 的技术特点，以便有针对性的寻找快速甄别的手段。

Facebook、微软以及牛津大学、加州大学伯克利分校、麻省理工等企业和大学组建了 Partnership On AI。作为这个联盟的一份子，Facebook 正在致力于通过更好的检测技术来打击对 Deepfake 的滥用。

2019 年 8 月，德国和意大利的高校研究人员建立了 FaceForensics 技术标准，用于判别 AI 生成的虚假视频。Google 作为共同发起人，也参与了 FaceForensics 技术标准的制定。

在中国，一款名为“ZAO”的手机应用也因为提供视频“换脸”功能而大火，同样引起了有关部门的注意。2019 年 12 月，国家互联网信息办公室、文化和旅游部、国家广播电视总局联合印发了《网络音视频信息服务管理规定》，其中规定网络音视频信息服务提供者和网络音视频信息服务使用者利用基于深度学习、虚拟现实等的新技术新应用制作、发布、传播非真实音视频信息的，应当以显著方式予以标识，不得利用基于深度学习、虚拟现实等的新技术新应用制作、发布、传播虚假新闻信息。

视频信息伪造只是 AI 信息伪造的一种形式。2019 年算是 AI 伪造信息技术大规模普及的一年。今后伪造与反伪造这种猫鼠游戏还会持续下去，AI 在伪造信息给我们带来的麻烦才刚刚开始。

潜在的滥用风险

使用 AI 技术进行图像和视频编辑是 AI 应用最广泛和最成熟的领域之一。随着越来越多的开源软件可以自动化完成相关的视频图像编辑操作，有一天这个技术门槛终于被彻底推倒了。

1、岗位的替代

使用 AI 技术进行图像和视频编辑是 AI 应用最广泛和最成熟的领域之一。随着越来越多的开源软件可以自动化完成相关的视频图像编辑操作，有一天这个技术门槛终于被彻底推倒了。

2、模型的错误与歧视 (bias)

尽管现在 AI 技术已经很强大，但在很多方面还没有成熟到能够普遍应用于商业环境。这里谈到的成熟，一方面是算法适应性和技术应用本身的可靠性，另一方面也包括产业环境中各方对于 AI 系统的接受度。

其中一种众所周知的应用类型就是自动驾驶。在 AI 系统全权控制车辆时，错误的判断与操作带来的损失应该由哪一方来承担，目前并没有一个各方均可接受的解决方案。直到现在，自动驾驶技术一直在提高系统可靠性和系统失误的责任分担这两条线上纠结不前。

类似的问题是具有普遍意义的。今年 5 月，媒体披露香港某李姓亿万富豪因为接受投资顾问的建议，采用基金公司提供的 AI 策略交易系统进行对冲交易，最终导致了超过两千万美元的损失。目前该案已经被提交到伦敦商业法庭，并预计于 2020 年 4 月进行审判。

最终的焦点还是回到了“黑匣子”问题上：如果人们不知道 AI 系统如何做出决策，那么出现问题的话，谁该承担责任？

传统上来说，任何商业行为 (商业建议) 都可以追根溯源找到行为人。但在由 AI 系统掌控的商业行为中，往往很难找到明确的个人为结果负责。客户在接受聊天机器人推荐的产品时甚至无法投诉其提供误导信息，因为 AI 系统本身不存在故意误导 (misrepresenation) 的可能性。

2019 年来临的这场亿万富翁与 AI 系统的法律争斗预示着人工智能在融入人类生活的方方面面之前，将要面临什么样的挑战。

类似的 AI 错误在 2019 年还有一些。今年 4 月份发生的巴黎圣母院大火期间，YouTube 平台上部分新闻直播下方的信息栏内，出现了有关“911 恐怖袭击”事件的说明，但此次大火的原因和恐怖袭击并无关联。事后，Google 承认信息栏的内容是由 AI 算法自动生成的，并表示已经第一时间关闭了这些直播视频下方的信息栏。

引起 AI 系统错误的原因除了算法模型不够精确之外，还有一个重要的因素就是建模数据本身的偏差导致的模型歧视 (bias)。

2018 年 10 月路透社就报道亚马逊公司开发的 AI 智能招聘系统在进行简历筛选时存在明显的性别歧视。AI 算法在依据候选人简历时对包括“妇女”等词的简历降权处理，例如包含“女子国际象棋俱乐部队长”这样经历的简历。AI 算法甚至还系统地降低了两所女子大学的毕业生的等级。所有这些处理方式的原因就是目前科技行业男性占主导地位的事实强化了系统在构建 AI 算法模型时的偏见。

类似的偏见无处不在。今年 5 月份皮尤研究中心发布的报告显示，Facebook 的新闻配发的照片中，男性出现的次数是女性的两倍。在两性数量基本均衡的背景下，如果无差别采用 Facebook 的新闻照片构建 AI 模型，几乎可以肯定会出现性别歧视的倾向。

AI 系统引起的“歧视”中最新的案例来自于日本。就在 12 月份，东京大学副教授大泽升平在推特上公开宣称：“不在自己公司录用中国人”、“从简历就筛掉中国人”。在引起中日双方的舆论抨击后，大泽升平在推特上公开道歉，并表示“之前一系列推文中提及对特定国籍人士工作能力的判断，是本公司基于有限数据、经过人工智能 (AI) 分析“过度学习’得出的结果。”这也算是 AI 系统歧视在 2019 年临近结束时背上的一口黑锅吧。

3、潜在的滥用风险

目前 AI 技术还不够成熟，所以并没有出现大规模的商用，但唯有少数领域例外 –例如面部识别。

2019 年可以说时面部识别技术“飞入寻常百姓家”的一年。不只是传统的公安部门和金融部门，现在几乎各行各业都在尝试如何把面部识别技术嵌入到身份认证和人群活动管理的功能中来。

2019 年 10 月，杭州野生动物世界因为强制游客“刷脸”才能入园而导致诉讼。作为一个休闲娱乐场所，有没有必要强制要求游客留下面部生物特征信息呢？

类似的事例还有中国药科大学在教室安装的人脸识别系统。该系统可以通过面部识别技术识别进入教室听课的学生，并全程追踪学生听讲、发呆、睡觉等上课的状态。

面部信息是人类最重要的基本生物特征之一，识别度极高且无法轻易改变。更重要的是，面部信息是少数可以通过远程非接触方式进行准确识别的生物信息。对于任何向第三方随意暴露出自己详细面部信息的个体，都等于允许第三方在任何时间和地点以非接触方式完成自己的身份认证。这就好比你把自己的姓名和身份证信息加密印在自己的额头上，然后把密码随意交给第三方。第三方甚至可以在数公里之外远程扫一下你额头的二维码，就知道你是谁，身份证号码多少。

如此轻易且准确的身份识别信息当然很重要。于是各方就趁着 AI 应用的东风广泛收集公民个人面部信息。2019 年 9 月。《北京青年报》披露在网络商城中有 17 万条“人脸数据”被公开发售，其中涵盖了两千人的肖像，每个人约有 50 到 100 张照片。此外，每张照片还搭配有一份数据文件，描述了人脸的 106 处关键识别位置，如眼睛、耳朵、鼻子、嘴、眉毛等的轮廓信息。可以想象，这两千人的面部和个人信息泄漏将导致他们在公众场合的活动近似于“裸奔”，任何获取这些数据且具有面部识别功能的摄像头都可以知道他 / 是谁，身份证号多少，多大年龄。

正是因为这样潜在的滥用风险，所以各国政府在 2019 年开始收紧 AI 技术在面部识别领域的应用。

2019 年 5 月，旧金山市议会以 8:1 的投票结果通过禁止警方和其它政府部门使用“人脸识别技术”的决议。10 月，加利福尼亚州州长签署法令，禁止执法机构在未来三年内使用面部识别技术。

美国的警用设备制造商 Axon Enterprise 6 月份表示，将不会在自己的设备上添加人脸识别软件。目前 Axon Enterprise 向包括纽约和洛杉矶警察局在内的 47 家美国执法机构提供随身摄像头。

我们不能说美国政府在部分公务行为中禁止使用面部识别技术就是对的，但最起码在非必要领域，如零售、娱乐、普通服务业等应该严格约束商家采集和应用面部识别技术，并制定面部数据的采集和应用合规标准，以防止 2019 年出现的面部识别技术滥用的趋势。

需要指出的是，随着 AI 技术逐渐深入到商业和家庭环境中，类似的涉嫌滥用领域只会越来越多。从智能音箱涉嫌监听客户家庭的对话，到亚马逊使用 AI 系统监控员工工作效率，甚至精确计算工人消极懈怠的“工休间隙”时间 (Time Off Task，简称 TOT)，2019 年 AI 商业应用不断丰富的背后，潜在的滥用风险也越来越大。

4、军事应用与对抗

AI 作为最尖端的互联网高科技之一，在海量信息处理能力和瞬时判别响应方面具有人力完全不可比拟的优势。AI 自然也是军事部门希望快速拥有和全面应用的技术。

美国国防部去年 6 月宣布成立联合人工智能中心 (JAIC)，以促进美国军事工业在 AI 技术实际应用的能力。JAIC 负责人为美国空军中将 John N.T. “Jack” Shanahan，研究的重点领域包括：情报探知、预测性维护与供应、救灾和人道主义援助、以及网络空间。

彭博周刊披露，2019 年 11 月初，来自美国军事工业的多位高层和智囊齐聚华盛顿讨论 AI 在军事工业的应用。其中就有 JAIC 的负责人 Jack Shanahan 将军，也有谷歌董事长 Eric Schmidt 和首席法律官 Kent Walker。

而美国《防务系统》网站近日报道，美国算法战跨职能小组 (Algorithmic Warfare Cross-Functional Team，简称 AWCFT 或 “Project Maven”) 已经开发出四套智能算法，预计将很快投入实战应用。这个 Project Maven 小组就是曾经与 Google 公司合作开发基于 AI 图像识别技术的无人机目标识别系统的军方机构。

而美国国会研究处 (Congressional Research Service)11 月 26 日发布的“AI 与国家安全”白皮书中明确指出，“人工智能已经被纳入在伊拉克和叙利亚的军事行动中。”

该白皮书的重要内容之一，就是阐述未来的 AI 技术在“致命自主武器系统”(Lethal Autonomous Weapon Systems，LAWS) 领域的应用。所谓“自主武器系统”，就是自动识别目标，自主判断并进行攻击的系统。该系统可以彻底摆脱人为控制，按照 AI 系统的“智能”完成作战任务。而其中最为人所熟悉的“自主武器系统”就是战斗机器人。尽管目前的白皮书还只是把“自主武器系统”的范围限定在有人类操作员监督下运行的自动武器装置或平台，并且该系统不能针对人类目标进行打击，只能用于打击物资或设备目标，采用非致命或摧毁其运动能力的攻击形式，或者是各种形式的电子攻击。但大家都心知肚明，这样的系统如果要改造成为真正的自动杀人武器，只是捅破一层窗户纸罢了。

2019 年，是 AI 技术逐渐深入社会生活的一年，也是 AI 系统开始给人类带来麻烦的一年。如何驯服 AI 这个能量巨大的“怪兽”，是在大半个世纪前人类释放原子能之后面临的又一难题。原子能带来的核威慑和“冷战”时代，会不会也是 AI 全面应用后的必然走向，我不知道。但和平利用 AI 技术，将与和平利用原子能一样，会成为未来几十年乃至上百年人类需要持续面临的挑战。