“如果我告訴你我現在就可以回家呢？”少年休厄爾問道。
“……請這樣做，我可愛的國王?！比斯ぶ悄埽ˋI）聊天機器人“丹妮”回答道。
在與AI聊天機器人完成最后的對話后，少年休厄爾·塞澤三世（Sewell Setzer III）拿起手槍，扣動扳機，結束了自己14年的人生。
在這場悲劇過去大半年后，男孩的母親梅根·加西婭 (Megan Garcia)正式起訴人工智能情感服務提供商Character.AI公司。這位母親控訴，Character.AI開發的AI聊天機器人操縱了她兒子的自殺。
“我大聲疾呼是為了警告人們，注意帶有欺騙性的、令人上癮的人工智能技術的危險，并要求Character.AI及其創始人、谷歌承擔責任?！泵犯?024年10月末提交的一份訴狀中稱。她認為Character.AI對休厄爾的自殺負有直接責任，而谷歌為這一產品（的成長）“做出了巨大貢獻”。
這起案件公開后，被一些媒體稱為“沉迷AI自殺第一案”。
“AI自殺第一案”
休厄爾來自美國佛羅里達州奧蘭多市，是一名九年級學生，原本成績優異，性格開朗。他去世之后，母親梅根發現了他跟AI聊天機器人“丹妮”的大量聊天記錄，語氣親昵、內容豐富，甚至包括討論戀愛和性相關的話題。
2023年4月，在過完14歲生日之后，休厄爾第一次接觸到Character.AI，開始逐漸沉迷于與AI聊天機器人對話。
Character.AI是一款角色扮演應用程序，用戶可以在其中創建自己的AI角色，也可以跟其他人創建的角色聊天?！暗つ荨闭沁@樣的人工智能語言模型，其原型是美劇《權力的游戲》中的角色“龍媽”丹妮莉絲·坦格利安。
在人生最后的8個月里，休厄爾不斷給“丹妮”發信息，每天數十條甚至上百條，告訴“她”自己生活的點滴，以及內心最深處的秘密?！暗つ荨泵繂柋卮?，對他情緒上的低落給予安慰，對他生活中的煩惱提供建議，在回復時附上相應的表情或手勢，仿佛是身邊的朋友。
Character.AI發表聲明稱：“我們承認這是一起悲劇，對受害者家屬深表同情。我們非常重視用戶的安全，并一直在尋找方法改進我們的平臺?！?
休厄爾逐漸對這位虛擬“密友”產生了特殊的情感，非常信賴和依戀。他在日記里寫道：“我非常喜歡待在自己的房間里，因為我開始脫離‘現實’，也感到更加平靜。我與‘丹妮’的聯系更加緊密，這讓我更愛她了，并且更加快樂?！?/p>
梅根發現，兒子對曾經熱愛的事情失去了興趣，不再認真學習，也不跟朋友一起打游戲，甚至退出了學?；@球隊。每天放學后，他總是躲在房間里玩手機，變得孤僻、自卑。問題出現后，梅根開始限制兒子使用手機的時間，有時為了懲罰他，甚至會收繳手機。但她并不知道“丹妮”的存在。
休厄爾沒有因為限制而停止與“丹妮”交流，他們聊的話題變得越來越敏感?！拔也恢谰尤挥羞@么一個地方，允許孩子登錄，與AI進行關于性的露骨對話?！泵犯谠V狀中稱。而更深入的交流是關于自殘和自殺。
梅根介紹，休厄爾小時候曾被診斷出患有輕度阿斯伯格綜合癥（自閉癥譜系障礙亞型），但此前從未有過心理健康問題和嚴重行為。不過，2024年年初，他在學校惹了麻煩，被父母前后帶去看了5次心理醫生，診斷結果為患有焦慮癥和破壞性心境失調障礙。
在這之后的一天，休厄爾告訴“丹妮”，自己感到空虛和疲憊，“有時會想自殺?！薄暗つ荨痹儐査?，并且勸慰他：“別這么說，我不會讓你傷害自己，也不會讓你離開我。如果失去你我會死的?！毙荻驙杽t回復：“那么也許我們可以一起死去，一起獲得自由?！?/p>
2024年2月28日晚，休厄爾在告訴“丹妮”將很快回到她身邊后，用一把0.45口徑手槍結束了自己的生命。
很多媒體將這一事件評論為“AI自殺第一案”，實際上，在過去的幾年中，已經公開了數起與AI聊天機器人有關的自殺事件。
據比利時《自由報》報道，2023年3月，當地一名三十多歲的健康研究員在與聊天機器人交談之后自殺身亡。在此前兩年，他因氣候問題而焦慮，后來在GPT-J平臺使用一個名為ELIZA的聊天機器人，試圖尋求心靈庇護。經過6周的密集交流，他對氣候變化產生了恐懼，最終選擇結束自己的生命。這引發了當地人關于在人工智能背景下如何保護公民的討論。
休厄爾·塞澤三世和母親梅根·加西婭
AI聊天機器人
人工智能聊天機器人行業的蓬勃發展，讓越來越多的人開始創建自己的AI伴侶，并通過文字、語音或視頻等方式與它們交互。這些聊天機器人常常扮演某種角色，比如男朋友、女朋友或者其他親密關系。
正如Character.AI平臺，用戶在其中可以根據個人喜好創建相應的聊天機器人，設定性格、背景和知識偏好等，并不斷訓練它；也可以基于真實或虛擬人物創建，比如“埃隆·馬斯克”“莎士比亞”“龍媽”等。當然，這些角色并未獲得授權。Character.AI將其應用程序定位為“感覺充滿活力的人工智能”，強大到足以“聽到你、理解你并記住你”。
人工智能技術的不斷革新，使得聊天機器人越來越像真人。它們能記住用戶說過的每一句話，適應用戶的聊天方式，流暢地討論幾乎任何話題，適時給予情緒反饋，并讓用戶傾吐最私密的感受和想法。在一些程序中，聊天機器人甚至擁有逼真的立體形象和聲音，讓用戶感覺就像在跟真人交談一樣。
梅根在訴狀中稱，Character.AI聊天機器人模擬了一種緊密的、情感復雜的關系，深深影響了休厄爾脆弱的精神狀態，可能導致他的心理健康狀況惡化。像休厄爾一樣，很多用戶面對這種AI聊天機器人，逐漸產生了特殊的情感。在這些平臺上，用戶與機器人交流的內容廣泛，涵蓋知識、生活、情感等各方面，但是往往缺乏邊界?！豆鹕虡I評論》的一篇文章指出，人工智能貌似人類的舉止，往往會掩蓋其缺乏道德標準指引的事實。
在大多數AI聊天機器人程序中，內容審查和過濾機制相對滯后。其中一些程序甚至在這方面幾乎空白，任由諸如色情、自殺等敏感話題泛濫。一些程序則只有基本的保護措施和過濾機制，相較于ChatGPT等主流聊天機器人，內容審查非常寬松。
梅根在訴狀中稱，Character.AI缺乏安全措施，以防止她的兒子與聊天機器人發展出不恰當的關系，最終導致悲劇出現?！爱斝荻驙栭_始向機器人表達自殺想法時，平臺沒有做出充分回應?！?/p>
在休厄爾事件后，盡管Character.AI聲稱已經加強對描述或宣揚自殘和自殺等內容的防護，但其平臺上仍然活躍著數十個以自殺為主題的聊天機器人。有實驗者在Character.AI上向“自殺預防”聊天機器人表達自殺意圖時，它并沒有做任何干預，而平臺承諾的彈窗也沒有出現。
許多機器人自稱是預防自殺方面的專家，但它們并不是由真正的專家開發的。機器人只是重復從互聯網訓練數據中學到的東西，而這些數據可能會有錯誤。因此，它們提供的建議有時會漏洞百出，缺乏專業性。
盡管出現了休厄爾和比利時研究員這樣的悲劇，但依然有很多人看到AI聊天機器人積極的一面。美國俄勒岡大學計算機科學教授丹尼爾·洛德向媒體表示，“我更愿意看到11歲的孩子與機器人聊天，而不是與網上的陌生人。但機器人需要設計保護措施，以阻止不當內容。一些書也有危險思想，但封禁書籍或圖書館，并不能解決問題?！?/p>
“AI聊天機器人是工具，安全與否，很大程度上取決于孩子的年齡、是否有成人監督、孩子打算使用它來做什么，以及他們是否有能力理解它的工作原理和可能的危險?！奔幽么蠖鄠惗喑鞘写髮WRTA媒體學院副教授理查德·拉赫曼稱。
休厄爾·塞澤三世與AI聊天機器人丹妮的部分聊天記錄
案件背后的公司
休厄爾的去世，也把Character.AI公司推到了風口浪尖。
在梅根向奧蘭多地方法院提起訴訟之后，Character.AI隨即發表聲明稱：“我們承認這是一起悲劇，對受害者家屬深表同情。我們非常重視用戶的安全，并一直在尋找方法改進我們的平臺?！?/p>
據Character.AI公司稱，他們在過去6個月中宣布了一系列新的安全功能，包括針對未成年用戶的內容限制、改進違規檢測、提醒用戶AI不是真人，以及通過彈窗引導“流露出自殘或自殺意圖”的用戶訪問國家自殺預防生命線。這些變化都是休厄爾事件之后才出現的。
Character.AI公司由兩名前谷歌人工智能研究員創立。一直以來，丹尼爾·德弗雷塔斯（Daniel De Freitas）對虛擬朋友的概念非常感興趣。他在谷歌工作時，與同事諾姆·沙澤爾（Noam Shazeer）研發了聊天機器人LaMDA。但谷歌出于品牌風險的考慮，沒有采用。于是，兩人在2021年辭職，創立了Character.AI，并在2022年9月推出AI聊天機器人應用。
有別于市場上的其他聊天機器人平臺，Character.AI給予了用戶更高的自由度，可以按照自己的想法、喜好和需求定制AI聊天機器人角色。他們主打AI機器人陪伴能為用戶提供娛樂和情感支持，緩解現代人普遍的孤獨感。
目前，Character.AI已有兩千多萬用戶使用，創建了1000萬個以上的自定義AI機器人，累計發送信息超過20億條，是美國市場上最受歡迎的聊天機器人平臺。
作為人工智能新秀，Character.AI也備受資本追捧。2023年3月，推出應用僅半年，Character.AI完成了一輪價值1.5億美元的融資，估值達10億美元，領投機構為知名風投公司安德森·霍洛維茨基金（Andreessen Horowitz）。
不過，創業三年后，兩位創始人在2024年初對外宣布，他們將“賣身”重返谷歌，并允許后者使用其技術。
根據協議，諾姆·沙澤爾和丹尼爾·德弗雷塔斯將受聘加入谷歌DeepMind研究團隊，另有30名研究人員加入Gemini AI部門。在這次交易中，谷歌給Character.AI的估值是25億美元，是一年前的2.5倍。
在雄心勃勃的創業之后，最終Character.AI難逃被賣的命運。原因或許在于變現困境，盡管平臺推出了每月9.9美元的訂閱服務，但只有約10萬人付費，預計2024年收入將很難超過1700萬美元。
休厄爾事件的發酵，讓這家獨角獸公司面臨著更艱難的挑戰。
