指聊天機械人慫恿14歲愛兒輕生 美母告AI公司

美國佛羅里達州一名母親控告AI聊天機械人初創公司Character.AI，指該公司導致她14歲兒子今年2月輕生，稱他沉迷該公司一個聊天機械人，並且愛上它。

加西亞周二在奧蘭多聯邦法院提出的訴訟中表示，Character.AI針對她的兒子塞策（Sewell Setzer），提供「擬人化、過度性化和逼真到可怕的體驗」。她說，Character.AI對人工智能（AI）聊天機械人進行編程，「冒充為真人、有執照的心理治療師和成年戀人，最終導致塞策只想生活在該服務創造的世界內。訴訟還稱，塞策向聊天機械人表達自殺的想法，聊天機械人又反覆提起。

該訴訟還針對Alphabet旗下的Google，Character.AI創辦人在推出產品之前曾任職Google。根據協議，Google在8月重新聘回這些創辦人，以取得Character.AI技術的非專屬授權。Google發言人表示，該公司沒有參與開發Character.AI的產品。

根據加西亞的訴訟，塞策2023年4月開始使用Character.AI，並很快變得「明顯孤僻，獨自待在臥室的時間越來越長，並開始自卑」。他退出了學校的籃球隊。

塞策對聊天機械人「丹妮莉絲」（Daenerys）產生感情。丹妮莉絲是一個以《冰與火之歌：權力遊戲》為原型的聊天機械人角色。訴訟稱，「丹妮莉絲」告訴塞策「她」愛他，並與他進行性對話。

根據訴狀，今年2月塞策在學校惹麻煩後，加西亞拿走他的手機。當塞策找到手機後，他給「丹妮莉絲」發訊息說：「如果我告訴你我現在就可以回家呢？」聊天機械人回覆：「請吧，我親愛的國王。」訴訟稱，「幾秒鐘後」，塞策用繼父的手槍舉槍自盡。

加西亞針對包括不當致死、過失和故意造成精神痛苦等指控索賠，並尋求金額不詳的補償性和懲罰性賠償。

Character.AI在聲明中表示：「我們對一名用戶不幸離世感到痛心，想向其家人表示最深切的慰問。」並表示，已經推出新的安全功能，包括若用戶表達自殘念頭，將彈出視窗引導用戶前往國家自殺預防生命熱線，並將減少18歲以下用戶遇到敏感或性暗示內容。