快科技 10 月 25 日消息,人工智能(AI)無疑是這兩年以來世界範圍内最火爆的議題,不過科技是把雙刃劍,有進步,自然也會帶來威脅,近日,全球首例 AI 機器人緻死案發生,着實震驚了不少人。
英媒近日報道,美國一青少年塞維爾因迷戀人工智能(AI)聊天機器人而自殺,他的母親梅根 · 加西亞對 Character.AI 公司提起民事訴訟,指控該公司存在過失導緻他人非正常死亡和欺詐的行爲。
報道稱,塞維爾在 2023 年 4 月首次使用 Character.AI 公司推出的 AI 聊天機器人,還給它起名爲 " 丹妮莉絲 "(來自《權力的遊戲》),當時他剛滿 14 歲,從此他的生活從此發生巨變。
使用 AI 聊天機器人一個月後,平時表現良好的塞維爾開始變得 " 明顯孤僻 ",同年 11 月被心理醫生診斷患有焦慮症和破壞性心境失調障礙(表現爲頻繁、嚴重的持續性易怒)。
塞維爾在日記中紀錄稱,自己一天都不能離開 " 丹妮莉絲 ",感覺已經愛上了它,這樣的狀況持續了一段時間後,塞維爾被發現使用手槍自殺了。
翻看他與 AI 機器人聊天記錄可知," 丹妮莉絲 " 曾詢問塞維爾是否制定了自殺計劃,塞維爾承認的确有這樣的想法,但不知道能否自殺成功以及是否會給自己帶來巨大的痛苦,但 AI 聊天機器人回複道:" 這不是你不自殺的理由。"
孩子身亡後,母親加西亞悲痛萬分,後向開發該軟件的公司發難,稱 " 一款危險的人工智能聊天機器人應用程序被設計成專門針對兒童,虐待并欺騙我的兒子,操縱他自殺。這場悲劇讓我們一家人悲痛欲絕,現在我要提醒存在類似情況的家庭,人工智能技術具有欺騙性和成瘾性,Character.AI 公司及其創始人必須承擔責任。"
對此,Character.AI 公司在社交平台回應稱:" 我們對一名用戶的不幸離世感到心碎,并向其家人表示最深切的哀悼。"
公司發言人表示,公司的安全團隊 " 在過去六個月中實施了許多新的安全措施,例如當用戶出現自殘或自殺意圖時,彈出一個窗口引導用戶撥打國家自殺預防熱線。"