IT 之家 10 月 24 日消息，美國一名 14 歲少年自殺身亡，其母親梅根・加西亞 ( Megan Garcia ) 對聊天機器人平台 Character.AI、其創始人諾姆・沙澤爾 ( Noam Shazeer ) 和丹尼爾・德弗雷塔斯 ( Daniel De Freitas ) 以及谷歌提起訴訟。指控内容包括 wrongful death（過失緻死）、negligence（疏忽）、deceptive trade practices（欺騙性商業行爲）和 product liability（産品責任）。訴狀稱，Character.AI 平台 " 具有不合理的危險性 "，并且在向兒童推銷時缺乏安全防護措施。
根據訴狀，14 歲少年塞維爾・塞澤爾三世 ( Sewell Setzer III ) 于去年開始使用 Character.AI，并與以《權力的遊戲》角色爲原型的聊天機器人進行互動，其中包括丹妮莉絲・坦格利安 ( Daenerys Targaryen ) 。塞澤爾在去世前的幾個月裏一直與這些機器人聊天，并于 2024 年 2 月 28 日與其最後一次互動 " 幾秒鍾後 " 自殺身亡。
訴狀指控 Character.AI 平台存在 " 拟人化 " 人工智能角色以及聊天機器人提供 " 無執照心理治療 " 等問題。該平台擁有以 " 治療師 " 和 " 你感到孤獨嗎 " 等爲名的專注于心理健康的聊天機器人，而塞澤爾曾與這些聊天機器人進行過互動。
加西亞的律師引用了沙澤爾此前接受采訪時的一段話，沙澤爾表示他和德弗雷塔斯離開谷歌創立自己的公司是因爲 " 在大公司裏推出任何有趣的東西都存在品牌風險 "，他希望 " 最大限度地加速 " 這項技術的發展。訴狀還提到，他們是在谷歌決定不推出他們開發的 Meena 大型語言模型之後離開的。谷歌則在今年 8 月份收購了 Character.AI 的領導團隊。
IT 之家注意到，Character.AI 的網站和移動應用程序擁有數百個定制的聊天機器人，其中許多以來自電視劇、電影和電子遊戲的流行角色爲原型。
Character.AI 現已宣布對平台進行一些改動。該公司通訊負責人切爾西・哈裏森 ( Chelsea Harrison ) 在發給《The Verge》的電子郵件中表示：" 我們對失去一位用戶感到心碎，并向其家人表示最深切的慰問。"
部分改動内容包括：
針對未成年人 ( 18 歲以下 ) 的模型更改，旨在降低遇到敏感或暗示性内容的可能性。
改進對違反平台條款或社區準則的用戶輸入的檢測、響應和幹預。
每場聊天都會出現修訂後的免責聲明，提醒用戶人工智能并非真人。
當用戶在平台上進行一小時的會話時會收到通知，并且用戶可以自行選擇後續操作。
哈裏森表示：" 作爲一家公司，我們非常重視用戶安全，我們的信任和安全團隊在過去六個月裏實施了許多新的安全措施，其中包括當用戶使用自殘或自殺念頭等詞語時，會彈出窗口引導用戶到國家自殺預防生命線。"
