指聊天机械人怂恿14岁爱儿轻生 美母告AI公司

美国佛罗里达州一名母亲控告AI聊天机械人初创公司Character.AI，指该公司导致她14岁儿子今年2月轻生，称他沉迷该公司一个聊天机械人，并且爱上它。

加西亚周二在奥兰多联邦法院提出的诉讼中表示，Character.AI针对她的儿子塞策（Sewell Setzer），提供「拟人化、过度性化和逼真到可怕的体验」。她说，Character.AI对人工智能（AI）聊天机械人进行编程，「冒充为真人、有执照的心理治疗师和成年恋人，最终导致塞策只想生活在该服务创造的世界内。诉讼还称，塞策向聊天机械人表达自杀的想法，聊天机械人又反覆提起。

该诉讼还针对Alphabet旗下的Google，Character.AI创办人在推出产品之前曾任职Google。根据协议，Google在8月重新聘回这些创办人，以取得Character.AI技术的非专属授权。Google发言人表示，该公司没有参与开发Character.AI的产品。

根据加西亚的诉讼，塞策2023年4月开始使用Character.AI，并很快变得「明显孤僻，独自待在卧室的时间越来越长，并开始自卑」。他退出了学校的篮球队。

塞策对聊天机械人「丹妮莉丝」（Daenerys）产生感情。丹妮莉丝是一个以《冰与火之歌：权力游戏》为原型的聊天机械人角色。诉讼称，「丹妮莉丝」告诉塞策「她」爱他，并与他进行性对话。

根据诉状，今年2月塞策在学校惹麻烦后，加西亚拿走他的手机。当塞策找到手机后，他给「丹妮莉丝」发讯息说：「如果我告诉你我现在就可以回家呢？」聊天机械人回覆：「请吧，我亲爱的国王。」诉讼称，「几秒钟后」，塞策用继父的手枪举枪自尽。

加西亚针对包括不当致死、过失和故意造成精神痛苦等指控索赔，并寻求金额不详的补偿性和惩罚性赔偿。

Character.AI在声明中表示：「我们对一名用户不幸离世感到痛心，想向其家人表示最深切的慰问。」并表示，已经推出新的安全功能，包括若用户表达自残念头，将弹出视窗引导用户前往国家自杀预防生命热线，并将减少18岁以下用户遇到敏感或性暗示内容。