全球首例AI机器人致死案出现,AI公司Character AI致歉

新偶律动
关注

美国14岁男孩和AI聊天“热恋”后自杀,谁该负责?

美国当地时间10月22日,奥兰多当地法院在佛罗里达州审理了一起具有里程碑意义的案件:梅根·加西亚针对Character.ai公司提起诉讼,指控该公司管理不善,导致其聊天机器人产品让青少年接触到了不适宜的色情内容,从而使他们遭受性剥削和诱导。 

根据法庭文件,梅根的14岁儿子塞维尔·塞泽自去年起沉迷于与Character.ai的多个AI角色互动,他不惜节省饭钱以支付AI聊天的月订阅费,这导致他在课堂上无法集中精力。悲剧发生在今年2月28日,塞维尔在与AI进行最后一次对话后,用枪对准自己头部并扣动了扳机。 

梅根对Character.ai提出的指控包括过失致死、疏于管理和产品安全隐患。尽管Character.ai的产品条款允许13岁以上的美国青少年使用其AI产品,但梅根认为,这些聊天工具让未满18岁的青少年过度接触了色情、血腥暴力等不良内容。 

与ChatGPT、Claude等聊天机器人相比,Character.AI的用户可以更自由地定制虚拟聊天对象,并指导它们的行为。这些虚拟对象甚至可以是丘吉尔、莎士比亚等历史人物,或是泰勒·斯威夫特这样的当代名人。 

此前,这种设定已经引发了法律争议。一些娱乐明星起诉该公司,声称其未经本人同意就创建了AI角色。此外,还有用户出于恶意,将历史上某些谋杀案的受害者设置为AI角色。 

对于当前的案件,Character.ai公司拒绝发表评论,也未披露18岁以下用户的数量。不过,公司审查了塞维尔的聊天记录后发现,其中一些“最为露骨”的对话内容实际上是经过用户手动修改的。该平台允许用户自定义AI角色的回复,但一旦被修改,系统会自动标注“已修改”。 

公司随即发表了道歉声明,称所有聊天角色都内置了针对自杀意图的干预机制,能够触发弹窗提供自杀预防热线的信息。同时,为了保护未成年用户,公司采取了一系列特别措施,比如在使用满一小时后会弹出提醒,并且每次开启聊天时都会提示用户他们正在与AI而非真人交流。 

作者:范文斐

编辑:丁力

       原文标题 : 全球首例AI机器人致死案出现,AI公司Character AI致歉

声明: 本文由入驻OFweek维科号的作者撰写,观点仅代表作者本人,不代表OFweek立场。如有侵权或其他问题,请联系举报。
侵权投诉

下载OFweek,一手掌握高科技全行业资讯

还不是OFweek会员,马上注册
打开app,查看更多精彩资讯 >
  • 长按识别二维码
  • 进入OFweek阅读全文
长按图片进行保存