随着人工智能技术的飞速发展，生成式 AI 的应用场景日益广泛，但与此同时，技术被滥用于制造非自愿性内容（NCII）的风险也日益凸显。本周，美国旧金山市政府采取了前所未有的强硬措施，直接向科技巨头苹果和谷歌发出正式警告，要求其立即从各自的应用商店中下架13款主要利用 AI 技术生成裸露图像的“换脸”应用。这一事件不仅引发了业界对应用商店审核机制的反思，更标志着城市层面开始积极介入深度伪造技术的监管。
针对女性的 AI 骚扰工具
根据旧金山市检察官办公室（SAO）透露的信息，这 13 款应用被指控通过所谓的“面部交换”技术，将用户上传的照片中的面部替换到裸露或色情图像上。这些应用被归类为“Nudify”类工具，其核心功能是利用 AI 模型对图像进行深度处理。尽管这些应用在商店的描述中可能宣称是“换脸”或“换装”娱乐工具，但实际使用情况显示，它们被绝大多数用户用于生成针对特定女性的非自愿色情内容。
此类应用的商业模式通常建立在订阅制或按次付费的基础上，用户只需上传照片，便能快速生成换脸后的裸照。由于生成过程往往在本地或云端快速完成，且技术门槛极低，这使得任何人都可能成为潜在的施害者。更令人担忧的是，这些应用对女性和未成年人的针对性极强，受害者往往在不知情或未经同意的情况下，其肖像被用于制作私密图像，造成了严重的心理创伤和名誉损害。
科技巨头的监管困境
旧金山市检察官办公室本周向苹果和谷歌发送了“停止令信函”，要求这两家掌握全球移动互联网入口的科技巨头停止从这些应用中获利，并彻底移除它们。这封措辞严厉的信函被视为对科技巨头长期以来在应用审核上“睁一只眼闭一只眼”态度的反击。
苹果和谷歌拥有严格的 App Store 和 Google Play 审核政策，原则上禁止色情内容。然而，由于 AI 深度伪造技术的隐蔽性和复杂性，许多此类应用通过在应用描述中淡化功能、使用模糊词汇或更改名称来规避审查。旧金山的行动表明，仅仅依靠平台自身的审核机制已经不足以遏制这一乱象。市检察官办公室强调，如果苹果和谷歌继续允许这些应用存在并从中抽取佣金，将面临法律的制裁。
深度伪造治理的警钟
这起事件并非孤立存在。近年来，随着 AI 视频和图像生成技术的平民化，“Deepfake”（深度伪造）技术已经从早期的网络恶作剧演变为一种严峻的网络安全和社会问题。从好莱坞明星的虚假色情视频泄露，到普通人的肖像被恶意篡改，深度伪造技术的滥用已经对个人隐私和社会信任造成了巨大冲击。
旧金山作为科技产业的重镇，此次直接介入监管具有风向标意义。它迫使行业重新审视 AI 技术的伦理边界。一方面，开发者需要承担更多的社会责任，不能将技术仅作为牟利工具；另一方面，平台方必须升级审核算法，利用 AI 技术来识别和拦截恶意生成的裸露图像，而不仅仅是依赖人工审核应用描述。
如果苹果和谷歌未能有效响应旧金山的诉求，不仅可能面临法律诉讼，还可能面临公众信任的崩塌。这起事件也为其他城市的立法者和监管机构提供了范本，未来可能会有更多地区效仿旧金山，通过法律手段强制科技公司清理应用商店中的 AI 滥用内容，从而在技术狂飙突进的时代，为公众构筑一道坚实的数字防线。
信息来源： Wired
原文链接： https://www.wired.com/story/san-francisco-demands-apple-and-google-delete-ai-nudify-apps-from-app-stores/
信息来源：Feed: Artificial Intelligence Latest，原文链接：https://www.wired.com/story/san-francisco-demands-apple-and-google-delete-ai-nudify-apps-from-app-stores/
