如果這個風險真的發(fā)生，變?yōu)楝F(xiàn)實危險，這就意味著不僅人類的精神文化沒有了，文明沒有了，甚至人類也將不存，比“核冬天”發(fā)生、人類被打回石器時代還可怕……如果是人工智能或者在基因編輯基礎上新的物種出現(xiàn)，這樣一種造物，就像劉慈欣所說的，“我消滅你，與你無關”，跟你好壞或者有無愛恨，沒有關系。我需要這些資源，你可以成為我的資源，這就夠了，我就可能毀滅你了。我跟你沒有什么愛恨也無所謂道德，我能力上可以毀滅你，就夠了
?
本刊記者 徐梅 發(fā)自北京 編輯 雨僧 rwyzz@126.com
?
每個中秋前的周五，都是北京最堵的一天。今年趕上國慶中秋雙節(jié)重疊，9月25日傍晚的東三環(huán)寸步難行，北京大學哲學教授何懷宏和博士生一起坐地鐵到國貿一家書店參加一個對談。事實證明，他充分預判了交通，是當晚三位嘉賓中唯一準時的。
?
科幻作家郝景芳花了比平時多出兩倍的時間才從家里移動到活動現(xiàn)場。另一位嘉賓是清華大學教授孫富春，因為一個國家級人工智能項目評審會議的耽延，后半段才加入到分享討論中。
?
當晚對談的主題圍繞著何懷宏的新書《人類還有未來嗎？》展開。這本書集納了何懷宏自2017年以來對技術帶來的倫理和哲學問題的持續(xù)思考。
?
在技術和資本乘風破浪的當下，何懷宏說自己所發(fā)出的聲音“很微弱”。他的觀點十分鮮明，“限制發(fā)展通用人工智能”和“禁止機器人擁有暴力”的立場甚至有些強悍，一貫以溫和、寬容為思想底色的他認為這樣的建議決非危言聳聽，而是出于對人類文明的珍惜，是為確保脆弱而珍貴的碳基生命存續(xù)的“底線思維”。
?
和大多數(shù)人一樣，何懷宏自2017年AlphaGo完勝世界排名第一的圍棋國手柯潔才開始關注人工智能，在此之前，他對科技并無興趣，連科幻電影都不太愛看，“覺得那太虛幻，而現(xiàn)實生活中有許多緊迫的問題?！贝饲熬脽o突破的人工智能因算法革命而落地生風加速成長，令何懷宏突然意識到“技術才是我們時代的‘最大真實’”，并且“警覺到近代以來人們精力投向的一個根本轉折，就是開始了以駕馭物質和技術為主導的價值追求。而這種追求如果越來越強，一意疾行，有可能導致在推進文明的同時也走向文明衰退”。
?
三年多的觀察和思考，何懷宏談論人工智能已經(jīng)相當專業(yè)。這個大熱的領域一直不缺警示牌，但過往討論（包括有限的反對意見）更多是來自科學界，圍繞著AI的技術表現(xiàn)和限制，科學家更多的是寬慰人——固然這是一個堪比工業(yè)革命的顛覆性創(chuàng)新，但技術突變“奇點”還遙不可及，機器只是在某些單項技能上本領過人，百年內難見堪比人類的通用人工智能。
?
但何懷宏認為以人工智能、基因工程為代表的高科技將帶來“人自身難以預測的嚴重后果”。他敏銳地指出，百年對于人類社會只是一瞬，“人類精神文化的其他方面與科技文化相比，已然顯示出某種落后、停滯甚至無可挽回的衰落樣態(tài)?！?/p>
?
“如果我們在應對挑戰(zhàn)方面完全無所作為，甚至走錯方向，人類還有未來嗎？或者說會有怎樣的未來？”
?
郝景芳說自己非常理解何懷宏教授的思慮，她寫過反技術烏托邦的科幻小說，小說集《人之彼岸》中有個故事就是以闖入者的視角，進入到一個人類完全向人工智能出讓了決策權的未來社會。她說自己在寫作中對技術是持反思和悲觀主義立場的，“科幻是現(xiàn)實的預警，今天的我們也在慢慢地把自己的思考和決策權交給系統(tǒng)，比如地圖找路，我們越來越習慣用導航，比如時間安排等，它慢慢跨越到我們的生活領域，越來越多地去替我們做這樣那樣的安排?！?/p>
?
但生活遠比小說復雜，相較于小說中的極端，現(xiàn)實中的邊界是模糊的，“哪里是一個明確的邊界，哪里是我們必須保留，一定要由我們自己來思考，絕對不能讓人工智能系統(tǒng)替代，是我們獨立思考獨立人格的最后的邊界？”郝景芳坦言，“我其實不是特別確定?！?/p>
?
現(xiàn)實生活中，她對待科技反而是一個“積極的行動者”，希望自己能夠善用技術，并且對技術也懷有善意，“我不認為人工智能會想要消滅人，我也不認為人的主體性會因人工智能而消失，人只會因為自己不進步而成為落后的物種，只會因為自己不思考而喪失主體性?！?/p>
?
選擇積極擁抱技術和變化還有一個原因，本科學物理學的她有許多從事科學研究的朋友，也常與科學家交流，從科學工作者身上，她看到未來技術發(fā)展的“不可阻擋性”。她曾在一個活動上做主持人，采訪幾位科學家，問他們如何看待基因科技對人類基因的改變。
?
在場科學家們的回答非常一致，“他們說固然有一定倫理風險，但這個事是擋不住的，一定會有科學家往前推動，你擋也擋不住的。所以其實從科技工作者來講，他們是非常實際地看待這個問題的。我想既然擋也擋不住，我們就只能積極行動，推動技術往好的方向發(fā)展，別讓我們的生活因技術而陷入災難?！?/p>
?
郝景芳話音未落，孫富春也趕到了現(xiàn)場，他帶著科學工作者的昂揚拿起話筒，分享了清華大學以及國內其他頂尖機構在人工智能研究上取得的前沿進展——
?
以人工智能為大腦，清華大學研發(fā)的新一代機器人擁有“五模態(tài)指尖傳感器”， 是目前世界上感知模態(tài)最多且分辨率最高的，“機器手接觸物體時，對物體表面的顏色紋理，潔凈覺、觸覺，還有力的感受、溫度，都能夠測出來?！?/p>
?
聽到孫富春介紹說機器人很快就可以給人一個力度合適的擁抱，還可以輕輕“拍一拍”以示親昵，何懷宏聽得很認真，表情嚴肅。
?
孫教授繼續(xù)歡快地介紹：能夠實現(xiàn)人、環(huán)境和機器人共融的共融機器人可以以智能假肢的方式通過神經(jīng)接口與人的神經(jīng)連接，不僅具有觸感，還能感受到冷熱酸痛，融入人體，成為假肢患者的一部分。此外，通過智能設備視覺和觸覺的交叉學習，神經(jīng)壞死的人可以借助設備通過視覺誘發(fā)觸覺感知。
?
孫富春語速很快，全場聽得呆住，“我想給大家再展示一個更新的工作，我們大家都很清楚，現(xiàn)在的機器人是硅基的，我們叫‘硅材料’?，F(xiàn)在一個最大的改變，是做硅基跟碳基的結合，我們把這個材料叫‘類生命體材料’。在國家科技部的項目里面，我們已經(jīng)在安排通過活體細胞做觸覺做視覺，這種活體細胞目前在營養(yǎng)液里面大概可以存活一個月左右?！?/p>
?
未來這些活體細胞做成的人造細胞使用廣泛，“比如人造皮膚，現(xiàn)在都在做，但是沒有一款人造細胞做的人造皮膚真正讓機器人用上，為什么？因為現(xiàn)在人造細胞一是分辨率比較低，第二個承重很低，現(xiàn)在最好的也就只能做到承重2.5公斤左右，而我們人的皮膚可以承重100-200公斤。通過活體細胞做出的皮膚，將來會達到100多公斤的承重，這樣的話就可以真正用在機器人上?！?/p>
?
包裹了人造皮膚的智能部件將來可以用在人的身體里面，實現(xiàn)了硅基與碳基的結合，機器人的發(fā)展會再往前跨越。孫富春非常肯定地告訴大家，隨著腦科學研究的突破和類生命材料的使用，“機器人將來會越來越聰明，機器人將來會跟人更好地協(xié)作。我覺得機器人有一天會有自我意識的，這一天一定會到來的?！?/p>
?
孫富春說他給一本名為《機器人的未來——機器人科學的人類隱喻》的書寫了序，這本書預言機器人未來可以擁有藝術、宗教，研究形而上學并擁有歷史，且人類可以與一個類人機器人結婚。就連不排斥體內裝入類生命材料的郝景芳也不能認同“人機共生的形式是人會跟機器結婚”，但孫富春非?？隙?，“這個絕對是這樣的，只是今天的機器還到不了共生的程度。向后50年，再向后100年，我想大家一定會認同這個觀點。”
?
主持人強烈要求何懷宏發(fā)言，他說話很慢，音調不高，一說話，倒比傾聽時更安靜。當他開口，他把一個小小的人的身影帶到由技術樂觀主義和科技新發(fā)現(xiàn)所掀動的巨浪之前。
?
“我說的可能不對”，“我承認我的無知”，結尾時，他說，“我就說到這里吧！”
?
以下為何懷宏自述：
?
起因
?
寫這個書，直接的起因就是2017年世界哲學大會啟動儀式那一年，有一個學術研討會，題目就叫“學以成人”。當時正好是阿爾法狗戰(zhàn)勝了圍棋世界冠軍，很多機器正在努力地“學以成人”，當然只是成為人的一個方面，就是智能。
?
引發(fā)我對技術思考的后面還有一個比較深的背景，七八年前我對世界的精神文化有一種突然的失落感，覺得精神文化不再是向上，而是已經(jīng)開始向下衰落。
?
我不知道在海德格爾、維特根斯坦之后，還有超過他們的嗎？好像沒有。也快將近一個世紀了，沒有出現(xiàn)偉大的哲學家，其他領域，也是一樣。
?
我們所讀的書，我們的藝術、我們的音樂、我們的繪畫，我們認為偉大，并且推崇的都是一百多年以前的了。當然我們有很多激動人心的影視明星、娛樂明星。但是精神文化上我們是貧乏的，在走下坡路，這是我最早的一個擔心。
?
后來就開始擔心文明，不僅是精神文化，更擔心文明。物質文明、精神文明，但還有政治文明，有些人認為我們的文明是在進步，但是我恰恰看到了一種不令人樂觀的景象。
?
最后甚至擔心人類的存續(xù)。
?
一百多年前，1918年11月7號，梁漱溟的父親梁濟曾經(jīng)問過他25歲的兒子一個問題，“這個世界會好嗎？”三天后他自殺了。梁濟先生提問時主要還是心系中國，中國這樣一個政治社會在辛亥革命建立共和之后，他看到很多亂象，憂心忡忡地問他兒子那個問題。
?
“人類還有未來嗎？”我們現(xiàn)在問這個問題，不僅僅是對中國，也不是對社會，可能是對人類而言的。其實我原來沒想這么一個大的題目，我是在討論這樣一個問題，如何看待精神文化、文明，甚至人類存續(xù)所面臨的新的挑戰(zhàn)？
?
這次的新冠只是一個非常細微的微生物發(fā)出的挑戰(zhàn)，世界夠狼狽了。還有很多潛藏的危險，但是我們太容易娛樂至死，太容易忘記。??
?
我們的人均壽命確實在這一百多年翻了一番，從四十多歲到七八十歲，這個世界讓我們感到無比的吃驚，也相當?shù)南硎?，但是有沒有潛在的危險？
?
我覺得人工智能也好，基因工程也好，都是雙刃劍，我們容易看到它們給我們帶來的便利、富足，但是不容易看到它們帶來的危險。這是我寫這本書的一個起因。
?
脆弱亦高貴的人
?
人其實是脆弱的。如果從肉身來說，他是脆弱的，他可能被一塊石頭擊中而死，也可能被一滴毒汁毒死，有時候是無法防范的。
?
但是就像帕斯卡爾所說的，人還是比毀滅他的東西高貴，人知道他的脆弱性，知道他必有一死，而動物不知道，“人是一根會思想的蘆葦。”
?
會思想，這就是人的高貴之處，偉大之處。僅憑肉身，人不要說永生，或者是長命，乃至永遠安全，他都是不可能做到的，但是拼思想他能夠穿越時空，能夠有哲學的沉思、藝術的創(chuàng)造、信仰的追求等等，這是人獨特的地方，是人與動物之區(qū)別中最關鍵的。這恰恰是人最大的一個“人之為人”的特點。
?
所以我們不能放棄這個，雖然每個個體都會死亡，人類最后也不免滅亡，但是從我個人來說，我非常珍視人類的文明史精神史所創(chuàng)造的，雖然精神文明只有兩三千年，從“軸心時代”可以廣義一點再往前推一兩千年，也就是那么幾千年；物質文明從農(nóng)業(yè)文明開始只有一萬來年，政治文明也只有五千年左右。人類只有這么一萬來年的文明史，但已經(jīng)創(chuàng)造了如此的成就。
?
人工智能也是人類的創(chuàng)造，它既是人類的驕傲，又是人類的危險。它在智能上能夠超過人，甚至能夠取代人，這一點是未來的一個危險，也可以說是最大的挑戰(zhàn)。
?
它并不是全面的類似人，即便未來出現(xiàn)通用智能，超級機器人，它仍然不會完全像人，也不必完全像人，只要在智能方面有超過人的控物能力，也就能夠控制人。
?
然而它不會有人的愛，愛多么脆弱，就像美也是脆弱的，甚至是很容易消失的，它不會有這些。
?
那么人類就需要一種比較預防性的倫理甚至法律，努力去預測很難預測的后果，擴大你的安全系數(shù)和安全范圍，不要為一時的方便便利輕易地去試驗。無論是生殖基因的實驗還是超級智能的實驗，因為它可能帶來莫測的風險，帶來不可逆轉的后果。
?
如果這個風險真的發(fā)生，變?yōu)楝F(xiàn)實危險，這就意味著不僅人類的精神文化沒有了，文明沒有了，甚至人類也將不存，甚至比“核冬天”發(fā)生、人類被打回石器時代還可怕，退回石器時代我想肯定還有人類的劫余，就是說還可能有少數(shù)人幸存，甚至可能緩慢地恢復文明。但如果是人工智能或者在基因編輯基礎上新的物種出現(xiàn)，這樣一種造物，就像劉慈欣所說的，“我消滅你，與你無關?！备愫脡幕蛘哂袩o愛恨，沒有關系。我需要這些資源，你可以成為我的資源，這就夠了，我就可能毀滅你了。我跟你沒有什么愛恨也無所謂道德，我能力上可以毀滅你，就夠了——這是可怕的。
?
人還有許多科學未曾知悉的奧秘
?
有些人無所謂，當然我們也要達觀，我也覺得要好好地生活，不去多想不去深想，就像以賽亞·伯林所說的，“生活在表層”是挺好，一個人不能總是生活在深處。浮在水面多輕松，我們也需要經(jīng)常地輕松地愉快地活著，不用多想，現(xiàn)在有時候多想無益，甚至還可能有害。
?
但還是要有人在想，有人在做這樣一種事情，所以我還提出一個概念，就是“關鍵的少數(shù)”這樣一個概念。
?
很重要，需要有人來承擔，“讓一部分人先明白起來”，這個“關鍵的少數(shù)”至少應該包括四種人，即目前掌握科技、經(jīng)濟、政治和輿論資源的四種人。他們首先考慮預防最壞結果的出現(xiàn)，最后反而能得到最不壞的結果。
?
剛才孫老師介紹了他們的一些最新的研究，我學到了不少，也使我感到有點震撼。
?
我的感想主要有三點：一個就是材料，過去區(qū)分人和智能機器主要的一個區(qū)別是在材料，我們是碳基生物，碳基生物就意味著我們天天要不斷地呼吸，要喝水，要吃東西，要曬太陽等等。硅基，它就不需要喝水，喝水還糟糕。它不需要這些東西。人機之別，基本的區(qū)別就是人是碳基，機器是硅基的存在。融合之后，如何區(qū)分？包括腦機結合，都會遇到這樣的情況。
?
如果我們不斷地更換，比如人造心臟、人造肢體，換著換著人是不是最后基本上就完全變成了一個硅基的存在？變成了一個“特殊材料制成的人”？
?
很難說會在哪一個點上發(fā)生一種質變，人類由碳基生物變成了硅基生物，這是一個極大的挑戰(zhàn)。
?
第二點就是感受性。我們作為碳基生物，很強調我們的感受性，恰恰這是人工智能最沒辦法學的，它計算很快，但是它還有一點很笨很笨：我們人進一個屋子掃視一下就可以看見現(xiàn)場的很多人，一些印象深刻的臉一下子我就記住了，甚至有可能一見鐘情，但是機器沒辦法做到這些。我們最容易做到的事情，機器最難做到，這就是依靠我們的感受性。
?
感受性是人很獨特的能力，科學家通過將神經(jīng)接口接入假肢，提高它的感受性，這種感受性畢竟還是功能性的，是我們的四肢或者說身體的一部分功能性的感知能力。
?
人類綜合性的感知是我要講的第三點，綜合性的感知或者說心靈，甚至說靈魂，就是一個統(tǒng)合的知覺。過去古人說“心之官則思”，心是一個主宰的部位，現(xiàn)在一般不這樣認為，認為是大腦。但是到今天腦科學家依然很難解釋，大腦研究可以側重各種反應，比如人在憤怒的時候，我們的腦細胞腦灰質會發(fā)生什么相應的變化。但這還是外在的表征，腦科學的研究至今還不知道人到底有沒有靈魂，到底這個靈魂是怎么存在的。
?
我們也無法解釋人類歷史上“人猿揖別”的那一刻，人怎么突然有了意識、自我意識和主體意識？那一刻是什么時候？是怎么個奧秘？無論是人類的群體史還是個體史都不容易回答。
?
靈魂是不是不朽？如果按佛家的輪回說，那也是不朽，某種不朽，但是沒有記憶。沒有記憶，它不是連貫的。
?
那是不是有記憶就是不朽？現(xiàn)在可能科學能做到將你的記憶外包，把你的某種記憶保存起來，過上若干年，甚至可以把你的記憶重新安放到某個肢體上，你還記得你小時候的事情，你過去的一生，你重新開始的一生，但你還是你嗎？我不知道。
?
在人這里還存在著很多奧秘。我甚至懷疑科學再進展，也未必能夠知悉這些奧秘。
?
很多奧秘我們原來以為已經(jīng)離我們不遠了，走近了才發(fā)現(xiàn)還是很遙遠。就像很多醫(yī)生甚至公共衛(wèi)生專家認為，包括《人類簡史》作者赫拉利也認為，人類已經(jīng)基本上消滅瘟疫、消滅惡性傳染病了，細菌可以用抗生素，病毒可以用疫苗，以后再沒什么人需要去研究這些。但是現(xiàn)在看不是那么回事，這次新冠疫情已經(jīng)發(fā)現(xiàn)，疫苗很難研制出來，抗生素會產(chǎn)生抗藥性，還會產(chǎn)生副作用，沒那么樂觀。
?
其他方面我覺得也是如此，人的技術還是會碰到它的一些限度，另一方面如果不加限制，技術的飛速發(fā)展還可能產(chǎn)生不可預測的后果。
?
光靠科學家自律是不夠的
?
（郝景芳所說的思考和寫作上悲觀、生活中樂觀），其實我是非常欣賞這種態(tài)度，但在人工智能可能是“人類最后的發(fā)明”上，現(xiàn)實中我們也需要做一些事情，比較具體地話，就是要確立一種預防性的倫理和法律，確保人類文明和人類存續(xù)有一個比較大的安全系數(shù)，避免它帶來不可預測的后果。
?
人的動機是復雜的，內在的，也是混合的，要根據(jù)這些動機提前做一些預防和限制。在實驗和研究上，光靠科學家的自律是不夠的，很多科學家甚至不愿意自己自律，無論出于追求真理，還是追求其他。就像有些科學家說的，“我不做，別人也會做。”甚至說，“如果不做，我們因此就落后了。”“擋不住的”這樣的說法很多，這恰恰是我們的憂慮之處。
?
我個人的觀點是，人工智能的發(fā)展和研究要限定為小型化、專門化，不發(fā)展通用人工智能。還應該有一個比較嚴格的限制：機器人不應該擁有暴力的手段。
?
舉個比方，哪怕可能出現(xiàn)小偷或者劫匪入室來搶劫一個老人，也不能給護理機器人使用暴力的程序設定。這是很危險的，因為客戶很可能將這個護理機器人變成進攻的工具。
?
阿西莫夫的機器人三定律，他自己在轉圈圈，其中還有一個更深的隱憂，如果讓機器人具備人那樣的價值判斷、自我意識、主體意識，它其實就接近甚至已經(jīng)是超級智能機器了。它不光在智力上超過人，它還有主體意識，這個時候人不被取代的話也會變成玩物。這是很危險的。
?
基因工程也是一樣，生殖細胞是不能動的，動了生殖細胞，哪怕它的直接結果是健康的，間接的長遠的后果你是不知道的。它也可能防止了艾滋病，但是容易感染其他的疾病。另外人如果在生殖細胞上動刀的話，可能就像我們的美容一樣，美容手術開始是為了彌補人的相貌的不足，但是現(xiàn)在變成我沒有雙眼皮我也割一個，我鼻子不夠高要整一整，變成一個美容術?；蚬こ桃部赡茏兂梢粋€美智術，會造成人的很大的不平等。
?
這方面的規(guī)則法律還是要盡可能嚴苛一些，這是我的想法。不一定對。
?
機器人的自我意識是什么
?
（孫富春教授補充解釋了自動化科學對機器人自我意識的理解，“這個機器人的自我意識就是知道自己的存在和知道周邊環(huán)境的存在，是最基本的自我意識。何老師講的自我意識可能比這要高得多，我講的是最基本的自我意識?！保?/p>
?
剛才孫老師談到機器人自我意識的問題，在哲學上自我意識不僅僅是意識到自己的存在，它是理性和非理性，包括感情、意志。是一個綜合體，更重要的它是一個主體意識，意識到自己不是一個工具一個手段，是獨立的主體。
?
我不知道人工智能會不會形成它自己的某種統(tǒng)一的統(tǒng)覺意識，如果產(chǎn)生，那將是一種什么樣的自我意識？和人的自我意識有什么不一樣？我作為一個人文學者，不是科學家，不像樂觀的科學家那么敢預判。至于是不是好事，更不知道。就像我們對不知道的事情，比如死亡，死后到底有什么或者沒有什么，我們不知道，但為什么人那么害怕死亡？人為什么不害怕誕生之前的虛無？真的是不好解答。
?
我承認我的無知。
?
有自我意識的機器人可能會取代人，或者把人當玩物當寵物，而我們甘心做一個寵物嗎？還不是每個人都有這樣的資格，你越長得可愛或者越傻越容易變成寵物，你越聰明越深思越難變成寵物。
?
如果我們發(fā)現(xiàn)一只狗在沉思，或者一只貓在深思，我們就懷疑它是不是病了，就覺得它有點像個怪物不敢養(yǎng)它了。所以人的處境是危險的。總而言之，發(fā)展超級機器人對人來說，大中小問題都存在。
?
技術是經(jīng)濟強大的引擎，今人創(chuàng)造了前人想也想不到的充分涌流的財富，那么也創(chuàng)造了時間，用馬克思的話說，閑暇時間的多少，是社會進步的一個標志。
?
人工智能一個最大的夸耀就是可以為人類創(chuàng)造更多的財富和便利，讓人擁有更多的閑暇。
?
但真正會利用閑暇進行創(chuàng)造的永遠是少數(shù)，會欣賞的比少數(shù)更多一些，但這二者加起來可能還是少數(shù)。當然，這也沒什么可怕的。林肯說過，上帝造了那么多人，尤其普通人更多，他們穩(wěn)定了這個世界，穩(wěn)定了這個社會。那些創(chuàng)造的人很可能互相打架，奧林匹克諸神很容易互相嫉妒，互相打架，更多的普通人穩(wěn)定了這個世界，但我們也要拋除不切實際的幻想，不要認為只要是外在的條件達到了，甚至物質的條件達到了，或者教育的手段達到了，我們就會出現(xiàn)無數(shù)的天才，不太可能。
?
我就說到這里吧。
?
?
