原文署名:一拳超度他人

一、一則寓言
較之他的雜文,我更喜歡小波的小説。因爲後者的大量段落都特別好玩,而且感覺意味深長。
衛公和紅拂藏身在菜園裡,躲避前來抓他的公差。這些公差們受制於世襲的行當,對行當之外的事物一無所知,根本想不到要搜查菜園——於是,城裡一片混亂。與此同時,衛公和紅拂卻安然無恙地藏在白菜地的破廟中。那些公差們,自然馬上要被砍頭了——劊子手們則因此擔心秋天到來後,他們將不得不斬首成千上萬的人。
他們開始尋找一種更快、更穩定、更省人力的辦法。一種假設是,如果每一個人的處決都能被壓縮成一次標準化的操作,那麼殺戮本身便可以像其他生產活動一樣被大規模處理。於是他們湊錢造了一台機器:三層樓高的機械斬首機,靠風力輔助,結構複雜,但極不穩定。在測試中,它把豬都弄得亂七八糟,讓它們發出高分貝的死之嚎叫,把死囚們嚇得魂飛魄散,二十個人都難以制服。然而,設計者們依然我行我素,在機器上刻滿了關於快捷、舒適和新潮的標語。
後面咋樣,小波沒有說。不過根據人類技術革命的無數先例,這台機器後來大概率會成功的。就算今天不成功,只要經過幾次改進,它就會比人工劊子手更快、更準確,也更少出錯。所有最初的疑慮都會被工程學解決掉......
......是嗎?

之所以提到這個,第一當然還是因爲我能背誦《紅拂夜奔》,第二是因爲在觀看烏克蘭戰爭中的無人機戰術時,看到那鋪天蓋地無孔不入的攻擊,這個情節便開始浮現。
人類始終致力於提高殺戮效率。從刀劍到火藥再到精確導引武器,科技不斷拓展殺戮的範圍。但在更古老的傳統中,人、工具和敵人(其他人)之間的關係始終清晰可見。無論武器多麼精良,它始終只是一種手段,最終的審判總是可以追溯到扣動扳機(象徵意義)的那個人。
當機器開始接管整個過程時,一種截然不同、甚至怪異的感覺便油然而生。關於這種怪異和異變,Black Mirrors等劇集和很多文藝作品都做出過深刻的描繪。
當無人機——或更完全自主的武器系統——不再僅僅接收人類的指令,它們甚至代工,開始自行完成部分流程,比如搜尋、識別、追蹤、選擇,最終攻擊目標時,問題就不再是「我們如何製造更好的殺戮工具」了。
「我們能否/應否製造出能夠自主殺戮的工具」呢?
康德關於”人必須被視為目的而非僅僅作為手段“的論斷,在此獲得了一種奇特的共鳴。但或許並不僅僅是機器是否「把人當作手段」——嚴格說來,機器甚至沒有「視為」這一回事。它既不把人「視為」目的,也不把人「視為」手段,它只是按照被賦予的程序和目標運作。
我覺得真問題是,人類是否正在把原本需要由道德主體作出的判斷,轉化成了一個工具可以獨立執行的程序?就像那個笑話說的,很多重要職位沒法用AI,因爲AI無法替領導背鍋;這兒的問題不在機器那一端。
我們正在把「誰可以被殺死」這樣的道德判斷,程序化、標準化,最後外包給一個本身無須回答「為什麼」的系統。這得怪誰?誰來背鍋?
二、正確描繪的道德恐怖谷

讓我聯係一下森政弘的「恐怖谷/uncanny valley」理論。他原話是這樣的:由於機器人與人類在外表、動作上相似,所以人類亦會對機器人產生正面的情感;直到一個特定程度,他們的反應便會突然變得極為負面。哪怕機器人與人類只有一點點的差別,都會顯得非常顯眼刺眼,顯得非常僵硬恐怖,使人有面對殭屍的感覺。可是,當機器人和人類的相似度繼續上升,相當於普通人之間的相似度的時候,人類對他們的情感反應會再度回到正面,產生人類與人類之間的移情作用。
機器人之所以會令人不安,並非僅僅因為它可能外形酷似人類,更重要的是它開始佔據原本屬於人類主體的位置——我們說是奪舍也行。獨立地判斷、選擇並完成行動,從前至少在道德和制度意義上,是只有人類主體才被允許完整承擔的事情。
但直接借用這個比喻也並不準確。眾所周知,森政弘最初的曲線是非單調曲線,舒適度隨著相似度的增加而上升,在接近但又不完全像人類時急劇下降,然後在相似度完全達到一定程度後又恢復正常。一條隨著自主性增加而不斷攀升的不適曲線並非山谷,那是懸崖。
所以,當然,我所謂的「道德恐怖谷」並不是森政弘意義上的恐怖谷。森政弘討論的是外形相似度與情感反應之間的非單調關係,而我在這裡借用的,只是其中一個更一般性的結構:某種原本令人欣慰的連續進步,在接近某個臨界點時突然發生價值反轉。
對武器而言,這個臨界點並不是「像不像人」這種膚淺表面的指標,如果該武器的使用中已經不存在或者致力於淡化一個可以真正介入的人類意志。
更精確的說法可以是這樣的。想像一下,橫軸仍然可以是效率——一條筆直上升的曲線,這正是每一代武器設計師所追求的目標。但縱軸不妨換成「人類的有效控制能力」。在效率提升的大部分時間裡,人們欣然接受更高的效率;更鋒利的刀刃、更快的裝填速度、更精準的砲彈,乃至一台更快的斬首機器,都只是把人的意志更有效率地轉化成結果。
到了某個階段,工具開始展現出一種截然不同的效率。問題不再是它能否更快、更準地完成同一項工作——它們現在不行,將來也肯定可以。問題在於,一旦它開始自己完成原本由人類分別承擔的搜尋、識別、判斷、選擇與執行,效率就不再只是人類意志的放大器,而開始成為一個可以脫離具體人類判斷而自行運行的決策流程。
正是在這一點上,當效率開始呈現自主性時,滿足感會逆轉並驟降。這是一個真正的低谷,因為觸發點並非工具與人類的相似之處。當人類意志明顯地從操控循環中抽離出來,一種合作高潮後的不應期就產生了。

曲線是否能夠恢復——一旦自主系統展現出諸如問責制、可解釋性,甚至是拒絕指令的能力,人們的舒適度是否會再次提升——是本文餘下部分試圖解答的懸而未決的問題。
答案最終與其說取決於機器的行為,不如說取決於風力砍頭機和烏克蘭無人機所共有的一個結構性原則,儘管二者並非有意為之。
三、為何這不是阿倫特
那麽,如果說機器殺戮最令人不安之處在於它沒有仇恨、憤怒、榮譽感,只是忠實執行目標,肯定會有朋友說,這不正是阿倫特對艾希曼的(想象式)診斷嗎?
(平庸之惡這個概念被濫用之頻繁,連不分析下就使用都快成爲它定義下的惡了。)
一個稱職的官僚在殺戮鏈條裡不需要恨,只需要把交辦的效率目標做好就行。換句話說,我們想用來區分「機器」與「人」的那個特徵(無情感的忠實執行),阿倫特早就證明人類的科層體制本身就能做到,而且做得更加系統化和長久化。
那麽前面那個砍頭機故事,本身講的其實正是官僚體系執行無責任重量、外包判斷而發明機械的故事。這反而支持一種「連續性」論題,即自主武器不是斷裂,它就是官僚制外包判斷這條線的延伸。砍頭機、艾希曼的辦公桌、無人機的算法,它們都是同一條軸線上的不同刻度。如果是這樣,「道德恐怖谷」想標定的斷裂點可能壓根不存在。根本沒有涇渭分明的界線。存在的只是一條漸進的外包曲線,而人類老早就走在這條路上了。
但這種比較當然隱含著一種範疇錯誤。將身陷官僚體系的人稱為「工具」永遠只能是一種比喻;荒謬的是,這種比喻的深信不疑使用者,恰恰有可能犯下其試圖在機器人奪舍案例中診斷出的那種錯誤。一個人,無論多麼深陷於程序之中,都不可能真正成為字面上的工具。
艾希曼的問題也不在於他「像機器一樣運作」。即使一個人深陷程序、命令和科層體系,他仍然是一個原則上可以被追問「你為什麼這樣做」的主體。官僚體制真正可怕之處,是人可以把自己的判斷交給程序,甚至主動放棄本來屬於自己的判斷責任;但這種放棄本身恰恰預設了那個判斷能力原本存在。
我曾經說,晚上不睡覺有兩種情形:失眠和丟眠;後者是指熬夜玩手機之類的。同理,艾希曼也並沒有喪失他的自由;那被(他)丟棄了,被背叛了。官僚機構將判斷權外包,實際上就是對一種原則上始終可以恢復的自由的自我放棄。
自主武器系統的問題顯而易見,它並不是一個「選擇服從而沒有拒絕」的道德主體。它從結構上就沒有被建構成一個需要對自己的選擇作道德回答的主體。它可以拒絕某些不符合權限、規則或程序的指令,但那種拒絕仍然是系統設計的一部分,不是它對自身行動作出的道德反思。
這就是本質區別。如果理解正確的話,某一具體行動的直接道德責任,需要一個在該行動節點上原則上能夠採取其他行動的主體。這當然並不意味著自主武器造成傷害之後責任就會消失;設計者、部署者、授權者、指揮者以及制度本身,你們一個也別想跑!真正消失的,是那個位於「最後一個不可逆選擇」上的直接責任主體。如果這種反事實的自由根本就不存在,那麼責任就無處安放。
官僚機構外包殺戮之所以讓人膽寒,是因為這是一種可逆(可選擇)的意志缺失;拒絕的權力始終存在。機器外包殺戮之所以危險,原因則恰恰相反。拒絕的可能性從一開始就從未被建構到系統中。
四、超級英雄探秘
那爲什麽放手讓機器去執行滅敵會那麽讓人不安呢?
我兒子有次問我,為什麼像蝙蝠俠或超人這樣的超級英雄不直接殺死他們抓到的罪犯?他因此斷言,如果他們放走一個殺人犯,讓他再次行兇,那麼這些未來的死亡難道不也應該由那些選擇不徹底解決罪犯的英雄承擔部分責任嗎?
答案並非取決於蝙蝠俠或超人們是否能夠有效率地執行正義——他顯然可以。我因此不得不給他介紹一個更古老且普遍的原則:單一主體不應同時掌握發現、判斷和執行全部權力。刑事司法中的權力分立只是這一原則的一種制度化表現;即,讓作出下一個不可逆決定的人,不應該同時就是提出上一個判斷的人。
這當然並不是說戰場上的交戰規則與刑事司法完全相同——二者本質差異巨大。刑事司法旨在「懲罰已發生的罪行」,而戰場交戰則是為了「消除即時的脅迫」。
但即便不涉及審判與罪責,二者依然共享上述核心原則。在戰場上,將「識別威脅」與「授權毀滅」進行結構性分離,目的並非進行漫長的道德審判——至少不是對被毀滅對象的。如果存在道德審判,那也是針對摧毀行爲的執行者們,為了防止他們(或者它們)「將威脅的認知與不可逆的毀滅壓縮在同一瞬間」。 當一個決定具有不可逆且高度嚴重的後果時,系統越需要在「提出判斷」與「執行判斷」之間保留一個真正可以介入、審查和否決的節點——哪怕因此效率會被打折。
蝙蝠俠無疑是人類,超人看上去也絕大部分是個“人”——外星人也是人,不是嗎?那麽這條原則就應該適用於他們,即便這意味著可能會造成真實且可預見的傷害,因為原本可以被“解決”掉的罪犯反而得以逃脫並再次殺人。將偵查、審判和執行權力集中在單一節點本身就是一種危害。和這種危險相比,罪犯可能再次漏網的危險顯得優先度不夠了。
當然,在這個解釋之外,我還給他提供了另一個他明顯更容易接受的解釋:壞人全部一下子幹掉了,那還怎麽接著寫故事呢?
我兒子的問題幫我整個議題提供了另一個視角。自主武器引發的焦慮,從根本上來說,除了在於機器取代了人類的某種功能,還可以看作是原本應該分佈在不同節點、不同時刻和不同責任主體的一系列功能——搜尋、識別、追蹤、選擇、交戰——被壓縮到一個單一系統中,並在同一時刻執行。
因此,我真正想保留的並不是傳統意義上的「權力分立」四個字。一個更一般的原則應當是「否決權的結構性分離」。將之理解為合理的掣肘空間也可以。制度需要保護的不一定是每個階段由不同的人執行,階段之間必須存在一個可以被另一個獨立節點介入、審查和否決的間隙,這才是關鍵所在。
五、時間壓縮
將這幾條線索結合起來,我們或許可以看到真正需要警惕是什麽。簡言之,自主性、不可逆後果與決策鏈壓縮三者的高效結合。一台機器可以高度自主,卻不因此具有道德危險;一個系統也可以極其高效,卻仍然保留充分分散的人類否決權。真正危險的臨界點,是搜尋、識別、判斷、授權和執行被壓縮成一個幾乎不可中斷的自動化序列,與此同時,人類的介入速度,如果還有人願意或能夠介入,又不足以使其真正行使否決權。
「恐怖谷」理論揭示了這種現象:當工具展現出足以削弱人類意志的效率時,不適感便會油然而生。權力分立原則則指出了真正受到威脅的制度價值:並非人與機器之間的某種界限,而是無論由誰或什麼來行使,獲取、判斷和執行這三項職能都必須保持分散,彼此之間在時間和空間上保持獨立性。而與官僚主義之惡的區別則闡明了機器所造成的威脅為何在結構上與人類機構所造成的威脅截然不同,且更難逆轉:官僚機構對這些職能的崩潰是對原則上仍可恢復的自由的背叛;而由自主系統造成的崩潰則徹底消除了這種可能被背叛的自由的可能性。
因此,自主武器系統最切實的威脅並非有些抽象的「人類判斷」這個概念。更現實的看,「有效否決所需要的時間間隔」才是生死之差所在。人之所以能夠對一個暴力決定承擔責任,不只是因為他在某個意義上參與了決策。這種責任還包括他原則上仍然有時間說:「還沒到時候」、「不是這個目標」,或者乾脆說「不」。
當搜尋、識別、追蹤、選擇和交戰被整合為單一的自動化序列,其運行速度遠超任何人類審查員的有效干預能力時,「人為干預」即使在形式上存在,也可能只剩下一個簽名,不構成是一個真正的否決權。拒絕的權力雖存在於紙面上,但為時已晚,無法行使。
這一點目前無關任何關於機器惡意或機器意識的問題——咱們根本還沒走那麽遠。人的惡意或者人的無意識,才是自主殺戮所引發的恐懼的最具體、最不具隱喻的體現。所幸,這恰恰也是最容易通過實際制度補救的方面。強制規定干預窗口、嚴格限制目標交戰延遲,以及在識別目標的系統和授權開火的系統之間建立牢固的結構性分離,就看他們願意多大程度上犧牲所欲求的效率了。
回到最初那個懸而未決的問題。這條因自主性上升而驟降的「道德恐怖谷」曲線,究竟能否再次回升?我現在可以謹慎給出一個答案——它永遠不可能靠機器本身的「道德化」或「完美化」來自然恢復。因為機器既沒有可以背叛的自由,也無法承擔終極的道德責任,寄望於演算法演化出「問責制」或「良知」只是一種範疇錯誤式的幻想。
人們的不適感若需要得到平復,唯一的途徑並非等待機器變得像人。它只能是通過制度手段,強行把被壓縮的時間間隔與結構性否決權「塞回」運行流程中——讓人減緩甚至停止(暫時)變成機器。唯有當人類意志重新成為那個不可中斷序列中的實質卡口時,技術效率與道德舒適度之間的張力才可能重新達成平衡。
六、又不是結論
小波的劊子手們最初只想提高殺戮效率。不過我猜當他們的機器真正將這一目標優化到極致時,他們會發現,oops,為時已晚,原來咱們也是機器的任務......
人類殺戮,不管這事多麽醜陋,是無法被徹底根除的,需要更多責任感、情感、象徵意義、後果意識,以及「這是我親手做的」這句話所蘊含的獨特——甚至讓人半夜夢醒一身冷汗的——道德內涵。歷史上殺戮效率的提升本身並非人們最恐懼的。真正令人恐懼的是殺戮被許可完全脫離了人類的直接行動——它變成了一種機器可以獨立執行的功能,曾經分隔抓捕、判斷和執行的深思熟慮的掣肘環節,如今都消失在了同一個不可中斷的瞬間。
讓人半夜夢醒一身冷汗的,還應該包括但是不限於下面這個問題:如果人工智能永遠不會變成人類,卻越來越多地執行只有人類才能判斷、選擇和承擔責任的行為,那麼人類作為主體的地位究竟還剩下什麼?