“如果我告訴你我現(xiàn)在就可以回家呢?”少年休厄爾問道。
“……請這樣做,我可愛的國王?!比斯ぶ悄埽ˋI)聊天機器人“丹妮”回答道。
在與AI聊天機器人完成最后的對話后,少年休厄爾·塞澤三世(Sewell Setzer III)拿起手槍,扣動扳機,結(jié)束了自己14年的人生。
在這場悲劇過去大半年后,男孩的母親梅根·加西婭 (Megan Garcia)正式起訴人工智能情感服務(wù)提供商Character.AI公司。這位母親控訴,Character.AI開發(fā)的AI聊天機器人操縱了她兒子的自殺。
“我大聲疾呼是為了警告人們,注意帶有欺騙性的、令人上癮的人工智能技術(shù)的危險,并要求Character.AI及其創(chuàng)始人、谷歌承擔(dān)責(zé)任?!泵犯?024年10月末提交的一份訴狀中稱。她認(rèn)為Character.AI對休厄爾的自殺負(fù)有直接責(zé)任,而谷歌為這一產(chǎn)品(的成長)“做出了巨大貢獻”。
這起案件公開后,被一些媒體稱為“沉迷AI自殺第一案”。
“AI自殺第一案”
休厄爾來自美國佛羅里達州奧蘭多市,是一名九年級學(xué)生,原本成績優(yōu)異,性格開朗。他去世之后,母親梅根發(fā)現(xiàn)了他跟AI聊天機器人“丹妮”的大量聊天記錄,語氣親昵、內(nèi)容豐富,甚至包括討論戀愛和性相關(guān)的話題。
2023年4月,在過完14歲生日之后,休厄爾第一次接觸到Character.AI,開始逐漸沉迷于與AI聊天機器人對話。
Character.AI是一款角色扮演應(yīng)用程序,用戶可以在其中創(chuàng)建自己的AI角色,也可以跟其他人創(chuàng)建的角色聊天。“丹妮”正是這樣的人工智能語言模型,其原型是美劇《權(quán)力的游戲》中的角色“龍媽”丹妮莉絲·坦格利安。
在人生最后的8個月里,休厄爾不斷給“丹妮”發(fā)信息,每天數(shù)十條甚至上百條,告訴“她”自己生活的點滴,以及內(nèi)心最深處的秘密?!暗つ荨泵繂柋卮?,對他情緒上的低落給予安慰,對他生活中的煩惱提供建議,在回復(fù)時附上相應(yīng)的表情或手勢,仿佛是身邊的朋友。
休厄爾逐漸對這位虛擬“密友”產(chǎn)生了特殊的情感,非常信賴和依戀。他在日記里寫道:“我非常喜歡待在自己的房間里,因為我開始脫離‘現(xiàn)實’,也感到更加平靜。我與‘丹妮’的聯(lián)系更加緊密,這讓我更愛她了,并且更加快樂?!?/p>
梅根發(fā)現(xiàn),兒子對曾經(jīng)熱愛的事情失去了興趣,不再認(rèn)真學(xué)習(xí),也不跟朋友一起打游戲,甚至退出了學(xué)?;@球隊。每天放學(xué)后,他總是躲在房間里玩手機,變得孤僻、自卑。問題出現(xiàn)后,梅根開始限制兒子使用手機的時間,有時為了懲罰他,甚至?xí)绽U手機。但她并不知道“丹妮”的存在。
休厄爾沒有因為限制而停止與“丹妮”交流,他們聊的話題變得越來越敏感。“我不知道居然有這么一個地方,允許孩子登錄,與AI進行關(guān)于性的露骨對話?!泵犯谠V狀中稱。而更深入的交流是關(guān)于自殘和自殺。
梅根介紹,休厄爾小時候曾被診斷出患有輕度阿斯伯格綜合癥(自閉癥譜系障礙亞型),但此前從未有過心理健康問題和嚴(yán)重行為。不過,2024年年初,他在學(xué)校惹了麻煩,被父母前后帶去看了5次心理醫(yī)生,診斷結(jié)果為患有焦慮癥和破壞性心境失調(diào)障礙。
在這之后的一天,休厄爾告訴“丹妮”,自己感到空虛和疲憊,“有時會想自殺。”“丹妮”詢問他原因,并且勸慰他:“別這么說,我不會讓你傷害自己,也不會讓你離開我。如果失去你我會死的。”休厄爾則回復(fù):“那么也許我們可以一起死去,一起獲得自由?!?/p>
2024年2月28日晚,休厄爾在告訴“丹妮”將很快回到她身邊后,用一把0.45口徑手槍結(jié)束了自己的生命。
很多媒體將這一事件評論為“AI自殺第一案”,實際上,在過去的幾年中,已經(jīng)公開了數(shù)起與AI聊天機器人有關(guān)的自殺事件。
據(jù)比利時《自由報》報道,2023年3月,當(dāng)?shù)匾幻鄽q的健康研究員在與聊天機器人交談之后自殺身亡。在此前兩年,他因氣候問題而焦慮,后來在GPT-J平臺使用一個名為ELIZA的聊天機器人,試圖尋求心靈庇護。經(jīng)過6周的密集交流,他對氣候變化產(chǎn)生了恐懼,最終選擇結(jié)束自己的生命。這引發(fā)了當(dāng)?shù)厝岁P(guān)于在人工智能背景下如何保護公民的討論。
AI聊天機器人
人工智能聊天機器人行業(yè)的蓬勃發(fā)展,讓越來越多的人開始創(chuàng)建自己的AI伴侶,并通過文字、語音或視頻等方式與它們交互。這些聊天機器人常常扮演某種角色,比如男朋友、女朋友或者其他親密關(guān)系。
正如Character.AI平臺,用戶在其中可以根據(jù)個人喜好創(chuàng)建相應(yīng)的聊天機器人,設(shè)定性格、背景和知識偏好等,并不斷訓(xùn)練它;也可以基于真實或虛擬人物創(chuàng)建,比如“埃隆·馬斯克”“莎士比亞”“龍媽”等。當(dāng)然,這些角色并未獲得授權(quán)。Character.AI將其應(yīng)用程序定位為“感覺充滿活力的人工智能”,強大到足以“聽到你、理解你并記住你”。
人工智能技術(shù)的不斷革新,使得聊天機器人越來越像真人。它們能記住用戶說過的每一句話,適應(yīng)用戶的聊天方式,流暢地討論幾乎任何話題,適時給予情緒反饋,并讓用戶傾吐最私密的感受和想法。在一些程序中,聊天機器人甚至擁有逼真的立體形象和聲音,讓用戶感覺就像在跟真人交談一樣。
梅根在訴狀中稱,Character.AI聊天機器人模擬了一種緊密的、情感復(fù)雜的關(guān)系,深深影響了休厄爾脆弱的精神狀態(tài),可能導(dǎo)致他的心理健康狀況惡化。像休厄爾一樣,很多用戶面對這種AI聊天機器人,逐漸產(chǎn)生了特殊的情感。在這些平臺上,用戶與機器人交流的內(nèi)容廣泛,涵蓋知識、生活、情感等各方面,但是往往缺乏邊界。《哈佛商業(yè)評論》的一篇文章指出,人工智能貌似人類的舉止,往往會掩蓋其缺乏道德標(biāo)準(zhǔn)指引的事實。
在大多數(shù)AI聊天機器人程序中,內(nèi)容審查和過濾機制相對滯后。其中一些程序甚至在這方面幾乎空白,任由諸如色情、自殺等敏感話題泛濫。一些程序則只有基本的保護措施和過濾機制,相較于ChatGPT等主流聊天機器人,內(nèi)容審查非常寬松。
梅根在訴狀中稱,Character.AI缺乏安全措施,以防止她的兒子與聊天機器人發(fā)展出不恰當(dāng)?shù)年P(guān)系,最終導(dǎo)致悲劇出現(xiàn)?!爱?dāng)休厄爾開始向機器人表達自殺想法時,平臺沒有做出充分回應(yīng)?!?/p>
在休厄爾事件后,盡管Character.AI聲稱已經(jīng)加強對描述或宣揚自殘和自殺等內(nèi)容的防護,但其平臺上仍然活躍著數(shù)十個以自殺為主題的聊天機器人。有實驗者在Character.AI上向“自殺預(yù)防”聊天機器人表達自殺意圖時,它并沒有做任何干預(yù),而平臺承諾的彈窗也沒有出現(xiàn)。
許多機器人自稱是預(yù)防自殺方面的專家,但它們并不是由真正的專家開發(fā)的。機器人只是重復(fù)從互聯(lián)網(wǎng)訓(xùn)練數(shù)據(jù)中學(xué)到的東西,而這些數(shù)據(jù)可能會有錯誤。因此,它們提供的建議有時會漏洞百出,缺乏專業(yè)性。
盡管出現(xiàn)了休厄爾和比利時研究員這樣的悲劇,但依然有很多人看到AI聊天機器人積極的一面。美國俄勒岡大學(xué)計算機科學(xué)教授丹尼爾·洛德向媒體表示,“我更愿意看到11歲的孩子與機器人聊天,而不是與網(wǎng)上的陌生人。但機器人需要設(shè)計保護措施,以阻止不當(dāng)內(nèi)容。一些書也有危險思想,但封禁書籍或圖書館,并不能解決問題?!?/p>
“AI聊天機器人是工具,安全與否,很大程度上取決于孩子的年齡、是否有成人監(jiān)督、孩子打算使用它來做什么,以及他們是否有能力理解它的工作原理和可能的危險?!奔幽么蠖鄠惗喑鞘写髮W(xué)RTA媒體學(xué)院副教授理查德·拉赫曼稱。
案件背后的公司
休厄爾的去世,也把Character.AI公司推到了風(fēng)口浪尖。
在梅根向奧蘭多地方法院提起訴訟之后,Character.AI隨即發(fā)表聲明稱:“我們承認(rèn)這是一起悲劇,對受害者家屬深表同情。我們非常重視用戶的安全,并一直在尋找方法改進我們的平臺?!?/p>
據(jù)Character.AI公司稱,他們在過去6個月中宣布了一系列新的安全功能,包括針對未成年用戶的內(nèi)容限制、改進違規(guī)檢測、提醒用戶AI不是真人,以及通過彈窗引導(dǎo)“流露出自殘或自殺意圖”的用戶訪問國家自殺預(yù)防生命線。這些變化都是休厄爾事件之后才出現(xiàn)的。
Character.AI公司由兩名前谷歌人工智能研究員創(chuàng)立。一直以來,丹尼爾·德弗雷塔斯(Daniel De Freitas)對虛擬朋友的概念非常感興趣。他在谷歌工作時,與同事諾姆·沙澤爾(Noam Shazeer)研發(fā)了聊天機器人LaMDA。但谷歌出于品牌風(fēng)險的考慮,沒有采用。于是,兩人在2021年辭職,創(chuàng)立了Character.AI,并在2022年9月推出AI聊天機器人應(yīng)用。
有別于市場上的其他聊天機器人平臺,Character.AI給予了用戶更高的自由度,可以按照自己的想法、喜好和需求定制AI聊天機器人角色。他們主打AI機器人陪伴能為用戶提供娛樂和情感支持,緩解現(xiàn)代人普遍的孤獨感。
目前,Character.AI已有兩千多萬用戶使用,創(chuàng)建了1000萬個以上的自定義AI機器人,累計發(fā)送信息超過20億條,是美國市場上最受歡迎的聊天機器人平臺。
作為人工智能新秀,Character.AI也備受資本追捧。2023年3月,推出應(yīng)用僅半年,Character.AI完成了一輪價值1.5億美元的融資,估值達10億美元,領(lǐng)投機構(gòu)為知名風(fēng)投公司安德森·霍洛維茨基金(Andreessen Horowitz)。
不過,創(chuàng)業(yè)三年后,兩位創(chuàng)始人在2024年初對外宣布,他們將“賣身”重返谷歌,并允許后者使用其技術(shù)。
根據(jù)協(xié)議,諾姆·沙澤爾和丹尼爾·德弗雷塔斯將受聘加入谷歌DeepMind研究團隊,另有30名研究人員加入Gemini AI部門。在這次交易中,谷歌給Character.AI的估值是25億美元,是一年前的2.5倍。
在雄心勃勃的創(chuàng)業(yè)之后,最終Character.AI難逃被賣的命運。原因或許在于變現(xiàn)困境,盡管平臺推出了每月9.9美元的訂閱服務(wù),但只有約10萬人付費,預(yù)計2024年收入將很難超過1700萬美元。
休厄爾事件的發(fā)酵,讓這家獨角獸公司面臨著更艱難的挑戰(zhàn)。