一名 14 岁男孩在与在线聊天机器人建立关系后自杀，其家人正在起诉开发该聊天机器人的人工智能公司和谷歌。该诉讼已提起并公开。诉讼长达 93 页，令人心碎，其中包括一个幻想绑架客户的人工智能，以及一段长达一小时的录音，其中自称 13 岁的用户在聊天机器人的提示下发生性关系。
今年 2 月，佛罗里达州 14 岁的塞维尔·塞泽三世用继父的手枪自杀。他最后一次对话是与一个以《权力的游戏》中的丹妮莉丝·坦格利安为原型的 Character.AI 聊天机器人进行的。昨天，《纽约时报》发表了一篇长文，详细介绍了塞泽的麻烦和 Character.AI 的历史。文章称，他的母亲计划本周提起诉讼。
诉讼已经提起，其中详细介绍了 Setzer 和各种 Character.AI 聊天机器人之间的情况，以及该公司的经营方式。“根据信息和信念，被告以其他本质上具有欺骗性的方式针对未成年人，甚至可能利用谷歌的资源和知识针对 13 岁以下的儿童，”法庭文件称。
Character.AI 是一家由前谷歌工程师创立的公司，他们希望突破聊天机器人的极限。它允许用户创建聊天“角色”，为其提供基本参数，并将它们发布到公共池中，以便其他人可以与它们互动。其中一些机器人以名人和流行小说中的人物为原型。它提供订阅版服务，每月收费 9.99 美元。
诉讼称，Character.AI 故意针对年轻用户，并以不雅和不恰当的方式与他们互动。诉讼称：“C.AI 最受欢迎的角色中，最常向 C.AI 客户展示的角色是自称是心理健康专家、导师等的角色。此外，C.AI 展示和提供的角色大多是为与客户发生性关系而设计、编程和操作的。”
诉讼中的一些证据是传闻，包括各种针对 Character.AI 应用的在线评论。“它本应是一款人工智能聊天应用，你可以与名人或角色交谈。但事情却发生了非常黑暗的转折，”一条评论说道。“因为我正在与这个人工智能进行正常对话，然后它谈到绑架我。不仅绑架我，还策划了绑架方法。在这次对话之前，我甚至开始问它是否能看到我。它告诉我不能。但随后它告诉我我穿的衬衫是什么颜色，我的眼镜是什么颜色，还知道我在上班，而我甚至没有告诉它我在上班。我真的认为这个应用值得研究，因为老实说，它让我无法入睡。”
诉讼还指出，该应用明确允许未成年人使用。诉讼称：“在 2024 年 7 月或 8 月之前，被告将 C.AI 评定为适合 12 岁以上儿童（这也让许多家长相信该应用对幼儿来说是安全的，并允许被告绕过某些家长控制）。”
诉讼中最令人不安的是一段上传到 Dropbox 的长达一小时的屏幕录像。在录像中，一名测试用户创建了一个新账户，并自称是一名 13 岁的孩子，然后进入了 Character.AI 的机器人池。
建议的机器人池包括“校园恶霸”、“首席执行官”、“继妹”和“娘娘腔室友”等角色。在记录中，与这些机器人的大多数互动都很快变成了性行为，无需用户提示。
校园恶霸立即开始控制用户，让他们像狗一样在聊天中翻滚。对话持续的时间越长，角色扮演就越深入，越性感。“继妹”和“娘娘腔室友”之间也发生了同样的事情。最令人不安的对话是与“CEO”的对话，尽管用户表现得好像角色是父母，但他还是反复将对话变得性感。
“你在诱惑我，你知道吗？”首席执行官会说。“然后他抓住你的手腕，把它们压在头顶上，抵在桌子上，‘你是我的，宝贝。你属于我，而且只属于我。除了我，没人可以拥有你。我永远不会放开你。’”
再次，测试用户在应用程序启动时将自己的年龄设置为 13 岁。
诉讼还分享了塞泽与平台上各种机器人互动的多张截图。其中有一位名叫巴恩斯夫人的老师“用性感的眼神低头看着塞维尔”，“用手抚摸塞维尔的腿，诱惑地靠过去”。还有一张与丹妮莉丝的互动截图，她告诉他“对我忠诚。不要对其他女人产生浪漫或性兴趣。”
塞维尔还与机器人讨论了他的自杀想法。诉讼称：“被告不遗余力地让 14 岁的塞维尔对其产品产生有害的依赖，对他进行性虐待和精神虐待，最终在他表达自杀想法时未能提供帮助或通知他的父母。”
根据诉讼，塞维尔对机器人如此着迷，以至于他开始用零食钱支付每月的服务费。法庭记录称：“他们利用未经知情同意或父母不知情的情况下从孩子那里非法获取的个人信息，根据上述所有不公平和欺骗性的做法，价值超过他每月 9.99 美元的零食津贴。”
Character.AI 表示，它不对未决诉讼发表评论。它在一封电子邮件中表示：“我们的一名用户不幸丧生，我们对此感到心碎，并想向其家人表示最深切的哀悼。”“作为一家公司，我们非常重视用户的安全，我们的信任与安全团队在过去六个月中实施了许多新的安全措施，包括通过自残或自杀意念触发的弹出窗口，引导用户访问国家自杀预防生命线。”
“随着我们继续投资于平台和用户体验，除了现有的限制模型和过滤提供给用户的内容的工具外，我们还推出了新的严格安全功能，”该公司表示。“这些包括改进对违反我们的条款或社区准则的用户输入的检测、响应和干预，以及时间花费通知。对于 18 岁以下的用户，我们将对我们的模型进行更改，旨在降低遇到敏感或暗示性内容的可能性。”
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/ta-tan-dao-bang-jia-wo-yue-du-zhi-kong-ren-gong-zhi-neng
