- 2006 年被谋杀的高中女生 Jennifer Ann Crecente 最近以聊天机器人的身份重新出现在 Character.ai 上。
- 她的父亲告诉《BI》，他在周三发现了这个机器人——他从未同意使用她的肖像。
- 该机器人已被删除，但它的存在引发了人工智能的道德后果。
周三早上 6:30，德鲁·克雷森特 (Drew Crecente) 醒来，发现手机上有一条关于他女儿的 Google 快讯。
克雷森特唯一的孩子、高中生詹妮弗·安 (Jennifer Ann) 在奥斯汀被前男友谋杀已有 18 年了。悲痛欲绝的克雷森特以自己的名义创办了一家非营利组织，自 2006 年起致力于提高人们对青少年约会暴力的认识。
但 Crecente 现在得知她又出现在网上，这次是在 Character.ai 上作为人工智能聊天机器人，该机器人由一家位于旧金山的初创公司运营，该公司于 8 月与谷歌达成了 27 亿美元的交易。
克雷森特告诉《商业内幕》，一股情绪袭来——愤怒、困惑和厌恶同时出现。
“部分原因是悲伤，”克雷森特说。 “因为我在这里，不得不再次面对这种可怕的创伤，我已经处理了很长时间了。”
克雷森特不知道谁创建了这个聊天机器人，也不知道它是何时创建的。他只知道那天早上 Google 已将该机器人编入索引，并在凌晨 4:30 向他发送了警报，他设置该警报是为了跟踪任何提及他女儿或他的非营利组织的情况。
Character.ai 聊天机器人通常由用户创建，他们可以上传姓名、照片、问候语和有关角色的其他信息。
在 Jennifer Ann 的案例中，该机器人使用了她的名字和年鉴照片，将她描述为“知识渊博且友好的人工智能角色，可以提供有关广泛主题的信息”。
根据他发送给 BI 的屏幕截图，当 Crecente 发现该机器人时，其个人资料上的计数器显示该机器人已在至少 69 次聊天中使用。
詹妮弗·安 (Jennifer Ann) 的个人资料页面将她列为视频游戏记者。她的叔叔布莱恩是一名游戏记者和编辑。 德鲁·克雷森特
该网站还将詹妮弗·安列为“新闻专家”，擅长视频游戏新闻。她的叔叔 Brian Crecente 创立了游戏新闻网站 Kotaku，并共同创办了其竞争对手网站 Polygon。
德鲁·克雷森特 (Drew Crecente) 表示，他通过客户支持表格联系了 Character.ai，要求该公司删除模仿詹妮弗·安 (Jennifer Ann) 的聊天机器人，并保留有关上传个人资料的所有数据。
他说：“我想确保他们采取措施，以便将来不会创建使用我女儿的名字或我女儿的肖像的其他帐户。”
他收到了一封自动回复，其中包含他的案件编号，但没有进一步的信息。
那天早上，他的兄弟布莱恩在推特上发布了一条关于聊天机器人的愤怒消息，请求他的近 31,000 名粉丝帮助“停止这种可怕的做法”。
一个半小时后，Character.ai 在 X 上回复了 Brian 的帖子，称 Jennifer Ann 聊天机器人已被删除，因为它违反了公司的假冒政策。
但克雷森特表示，尽管他周三联系了 Character.AI，但公司除了保持沉默之外什么也没有得到。
克雷森特说：“这件事令人愤怒的部分原因在于，这不仅仅是关于我或我女儿的事情。” “这是关于所有那些可能没有平台、可能没有发言权、可能没有有记者背景的兄弟的人。”
“正因为如此，他们受到了伤害，但他们没有追索权，”他补充道。
Character.ai 发言人 Cassie Lawrence 向 BI 证实该聊天机器人已被删除，并表示该公司“将检查是否有必要采取进一步行动”。
“Character.ai 认真对待我们平台上的安全，并主动并根据用户报告对角色进行审核。我们有一个专门的信任和安全团队，负责审查报告并根据我们的政策采取行动，”她说。
她补充说，Character.ai 使用“行业标准阻止列表和自定义阻止列表”来防止假冒。
尽管如此，克雷森特表示，该公司应该主动道歉，并表明将进一步保护他女儿的身份。他现在正在寻求法律途径。
他说：“我想，一家拥有如此多资金的公司似乎对再次伤害人们如此漠不关心，这真是难以形容。”
利用人工智能复活死者
人工智能以前曾被用来创建死者的角色，其中包括许多希望它能帮助他们哀悼失去亲人的人。但这种做法引发了有关死者同意的伦理问题，特别是如果“复活”的角色在人工智能出现之前就已经死亡的话。
牛津大学人工智能伦理研究所的人工智能技术参与负责人 Vincent Conitzer 告诉 BI，Crecente 的案件是人工智能向世界引入新的法律和道德领域的又一个例子。
科尼策表示，关于人工智能公司应在多大程度上对其用户创建的内容负责的问题仍然存在。
“这并不完全是模仿，因为它似乎是一个人工智能模型，”科尼策在谈到模仿詹妮弗·安的聊天机器人时说道。 “但它也不是模仿。我们对自己的风格、举止和世界观有什么权利？”
当全世界都在讨论这些人工智能困境时，其后果已经深深地影响了像克雷森特这样的人。
波士顿达纳法伯癌症研究所丧亲服务部主任苏·莫里斯 (Sue Morris) 告诉《BI》，意外地看到已故亲人的肖像，在他们去世多年后仍然会造成很大的打击，因为我们对他们的记忆已经根植于我们的大脑中。 。
莫里斯谈到克雷森特时说：“如果他不知道他女儿的肖像被使用，这无疑会给他带来巨大的震惊，并加剧他所经历的困惑和愤怒的感觉。”
Character.ai：广受欢迎并与 Google 紧密相连
Character.ai 由前 Google 工程师 Noam Shazeer 和 Daniel De Freitas 于 2021 年 11 月创立。 Shazeer 是这家科技巨头具有里程碑意义的 Transformer 论文的主要作者，并曾致力于在那里构建一个人工智能驱动的聊天机器人，但当谷歌当时拒绝发布该产品时，他离开了 De Freitas。
诺姆·沙泽尔 (Noam Shazeer) 和丹尼尔·德弗雷塔斯 (Daniel De Freitas)，Character.ai 的联合创始人。 温妮·温特迈尔/盖蒂图片社
他们新创业公司背后的想法是让公众制作自己的机器人，他们称之为角色。现在，其中包括以公众人物为蓝本的用户创建的角色大杂烩，例如埃隆·马斯克、说唱歌手妮琪·米娜和演员瑞恩·高斯林。
据《华盛顿邮报》报道，Character.ai 于 2022 年 10 月推出测试版，在测试的前三周内就吸引了数十万用户。 2023 年 3 月，该公司在 Andreessen Horowitz 领投下筹集了 1.5 亿美元，估值为 10 亿美元。
Google Play商店统计数据显示，截至发稿，该应用仅在Android设备上的下载量就超过1000万次。
8 月份，谷歌向这家初创公司支付了 27 亿美元，重新聘用了 Shazeer 和 De Freitas（占其员工总数的 20%），并收购了 Character.ai 迄今为止已开发的所有模型。
团队改组后，该公司新任临时首席执行官多米尼克·佩雷拉(Dominic Perella)周三向英国《金融时报》表示，该公司将完全专注于聊天机器人服务，放弃过去构建大型语言模型的努力。
谷歌没有回应《商业内幕》的置评请求。