本文來(lái)自微信公眾號(hào)： Internet Law Review ，編譯：《互聯(lián)網(wǎng)法律評(píng)論》，作者：科妮莉亞·沃爾特

通常來(lái)說(shuō)，不對(duì)稱(chēng)意味著關(guān)系中的雙方并不對(duì)等。在數(shù)字生活中，“算法不對(duì)稱(chēng)”描述了雙方之間更深層次的不平衡：一方可以觀(guān)察、建模、測(cè)試和改進(jìn)其算法，而另一方則主要承受算法帶來(lái)的后果。這種不平衡如今已滲透到招聘、貸款、保險(xiǎn)、教育、警務(wù)、媒體以及日常注意力架構(gòu)等領(lǐng)域。其后果是算法主體性不對(duì)稱(chēng)，即用戶(hù)無(wú)法識(shí)別并抵制算法對(duì)其自身處境的不當(dāng)影響。

一、算法的三層“認(rèn)知枷鎖”

這種算法不對(duì)稱(chēng)性可以從三個(gè)層面來(lái)解釋。

第一層面是不透明性，指的是設(shè)計(jì)、部署或購(gòu)買(mǎi)算法系統(tǒng)的組織通常比與系統(tǒng)交互的人員更了解系統(tǒng)的目標(biāo)、閾值、激勵(lì)機(jī)制和弱點(diǎn)?！安煌该餍詥?wèn)題”解釋了這種差距持續(xù)存在的原因：有些系統(tǒng)為了保護(hù)知識(shí)產(chǎn)權(quán)而刻意隱藏，有些系統(tǒng)需要專(zhuān)業(yè)培訓(xùn)才能理解，還有一些系統(tǒng)即使對(duì)專(zhuān)家來(lái)說(shuō)也難以解讀。當(dāng)一個(gè)系統(tǒng)難以檢查時(shí)，其輸出結(jié)果往往看起來(lái)比實(shí)際情況更客觀(guān)，這就導(dǎo)致了“黑箱謬誤”。

算法不對(duì)稱(chēng)性的第二層是歷史偏見(jiàn)放大。算法會(huì)從過(guò)去的世界中學(xué)習(xí)，包括過(guò)去的偏見(jiàn)或排除。即使是看似中立的系統(tǒng)，也可能重現(xiàn)數(shù)據(jù)中已存在的不平等模式。帶有偏見(jiàn)的過(guò)去作為訓(xùn)練材料輸入，最終以預(yù)測(cè)、評(píng)分或推薦的形式輸出，由于是計(jì)算結(jié)果，因此看起來(lái)是中立的。實(shí)際上，這只是舊有的層級(jí)結(jié)構(gòu)以更現(xiàn)代化、更簡(jiǎn)潔的界面重新出現(xiàn)。

第三層是遞歸系統(tǒng)。系統(tǒng)通常并非一次性部署；相反，用戶(hù)會(huì)不斷地訓(xùn)練這些系統(tǒng)。每一次點(diǎn)擊、停頓、提示、路徑選擇、購(gòu)買(mǎi)行為和猶豫都會(huì)成為數(shù)據(jù)。推薦系統(tǒng)旨在從這些信號(hào)中學(xué)習(xí)并進(jìn)行調(diào)整，但這并非循環(huán)的終點(diǎn)。憑借這些學(xué)習(xí)成果，系統(tǒng)會(huì)塑造我們接下來(lái)看到的內(nèi)容，決定哪些內(nèi)容感覺(jué)正常、哪些內(nèi)容看似相關(guān)，有時(shí)甚至決定哪些內(nèi)容感覺(jué)令人向往，而其目標(biāo)對(duì)最終用戶(hù)而言卻始終模糊不清。換句話(huà)說(shuō)，我們訓(xùn)練系統(tǒng)，系統(tǒng)也反過(guò)來(lái)訓(xùn)練我們?！八惴ㄆ啤敝傅氖怯脩?hù)與平臺(tái)之間這種共同演化的關(guān)系。

二、當(dāng)算法替你“活”了

人工智能的代理能力（Agency），是指能夠以有意義的方式判斷、選擇并采取行動(dòng)，理解影響自身選擇的各種力量。

當(dāng)組織利用數(shù)字系統(tǒng)——如個(gè)性化推送、定向廣告、動(dòng)態(tài)定價(jià)、推薦引擎、風(fēng)險(xiǎn)評(píng)分等——在大規(guī)模范圍內(nèi)測(cè)試、衡量和優(yōu)化影響力與結(jié)果時(shí)，代理能力的不對(duì)稱(chēng)性便隨之產(chǎn)生。營(yíng)銷(xiāo)一直試圖塑造行為；而如今的區(qū)別在于精準(zhǔn)度與反饋機(jī)制：組織可以實(shí)時(shí)觀(guān)察個(gè)體行為，將人群劃分為越來(lái)越細(xì)的類(lèi)別，持續(xù)進(jìn)行A/B測(cè)試，并調(diào)整每個(gè)人所看到的內(nèi)容、支付方式或獲得的優(yōu)惠。相比之下，個(gè)人通常只能接觸到系統(tǒng)的表面信息：一條推送、一個(gè)評(píng)分、一個(gè)價(jià)格、一條推薦或一次拒絕，卻無(wú)法知曉自己的數(shù)據(jù)是如何被使用的、哪個(gè)目標(biāo)被優(yōu)化了，以及他們的選擇又是如何被引導(dǎo)的。

這一點(diǎn)至關(guān)重要，因?yàn)槿藗儠?huì)適應(yīng)系統(tǒng)所獎(jiǎng)勵(lì)的事物。在招聘中，人們不再僅僅關(guān)注求職者是否會(huì)為了迎合招聘人員而精心打磨簡(jiǎn)歷；自動(dòng)化篩選工具和人工智能排名系統(tǒng)可能會(huì)獎(jiǎng)勵(lì)某些特定的信號(hào)，同時(shí)隱藏其背后的邏輯。華盛頓大學(xué)的一項(xiàng)研究發(fā)現(xiàn)，大型語(yǔ)言模型對(duì)超過(guò)550份真實(shí)簡(jiǎn)歷進(jìn)行排名后，85%的情況下都傾向于選擇名字與白人相關(guān)的簡(jiǎn)歷，而從未偏袒過(guò)名字與黑人男性相關(guān)的簡(jiǎn)歷。在教育領(lǐng)域，英國(guó)2020年的成績(jī)爭(zhēng)議表明，算法模型如何將學(xué)校層面的歷史轉(zhuǎn)化為個(gè)人成績(jī)：資格與考試監(jiān)管辦公室（Ofqual）下調(diào)了約40%學(xué)生的校內(nèi)評(píng)估成績(jī)，引發(fā)了公眾的強(qiáng)烈反對(duì)，并最終導(dǎo)致政府撤回了這一決定。

此外，更新的人工智能工具帶來(lái)了更多風(fēng)險(xiǎn)。斯坦福大學(xué)的研究人員使用來(lái)自英語(yǔ)母語(yǔ)者和非母語(yǔ)者的樣本，測(cè)試了七種廣泛使用的人工智能檢測(cè)器的性能。結(jié)果發(fā)現(xiàn)，在非母語(yǔ)者的樣本中，人工智能檢測(cè)器錯(cuò)誤地將61.22%的文章歸類(lèi)為人工智能生成，這表明一些學(xué)生更容易因?yàn)閷?xiě)作方式而受到懷疑或懲罰。類(lèi)似的現(xiàn)象也出現(xiàn)在數(shù)字生活和工作中。Facebook在2014年針對(duì)689,003名用戶(hù)進(jìn)行的著名信息流實(shí)驗(yàn)表明，用戶(hù)接觸正面或負(fù)面帖子的變化會(huì)影響他們之后使用的情感語(yǔ)言。在零售業(yè)，亞馬遜倉(cāng)庫(kù)工人也反映，他們必須完成基于速度的指標(biāo)，卻不知道這些指標(biāo)是如何計(jì)算的。亞馬遜倉(cāng)庫(kù)的算法管理報(bào)告和研究也探討了這一現(xiàn)象。這些案例揭示了更深層次的問(wèn)題：數(shù)字系統(tǒng)不僅僅是在事后對(duì)行為進(jìn)行分類(lèi)。它們還會(huì)教人們使用哪些詞語(yǔ)、避免哪些風(fēng)險(xiǎn)、表達(dá)哪些情緒以及追求哪些指標(biāo)。當(dāng)組織塑造人們思考、行為和決策的條件，而個(gè)人卻僅僅將這些條件體驗(yàn)為分?jǐn)?shù)、等級(jí)、信息、目標(biāo)或價(jià)格時(shí)，算法代理不對(duì)稱(chēng)性就具有了政治意義。

三、政策不能只喊口號(hào)

因此，政策必須重新平衡這種關(guān)系。首先，立法者應(yīng)要求在影響發(fā)生時(shí)提供有意義的通知和解釋。用戶(hù)應(yīng)該知道他們何時(shí)在與人工智能互動(dòng)，何時(shí)內(nèi)容是合成的，以及何時(shí)一項(xiàng)重要決策受到了自動(dòng)化系統(tǒng)的影響。歐盟的《人工智能法》第50條中歐洲透明度義務(wù)背后的邏輯指明了正確的方向。經(jīng)合組織人工智能原則也從更廣泛的層面闡述了同樣的觀(guān)點(diǎn)：人們需要足夠的信息來(lái)理解結(jié)果，并在必要時(shí)提出質(zhì)疑。

其次，政府應(yīng)要求在算法系統(tǒng)進(jìn)入就業(yè)、教育、住房、保險(xiǎn)、醫(yī)療保健、福利和警務(wù)等高風(fēng)險(xiǎn)領(lǐng)域之前，進(jìn)行可強(qiáng)制執(zhí)行的影響評(píng)估。一些現(xiàn)有的方法為此提供了基礎(chǔ)，例如加拿大的算法影響評(píng)估、安大略省的人權(quán)人工智能影響評(píng)估以及歐洲針對(duì)高風(fēng)險(xiǎn)人工智能系統(tǒng)的基本權(quán)利影響評(píng)估。近期的一些失敗案例表明，更強(qiáng)有力的保障措施至關(guān)重要。在英國(guó)，上訴法院在“R (Bridges)訴南威爾士警察局長(zhǎng)”一案中裁定，南威爾士警察局使用實(shí)時(shí)自動(dòng)面部識(shí)別技術(shù)屬于非法行為。在底特律，羅伯特·威廉姆斯因面部識(shí)別錯(cuò)誤匹配而被錯(cuò)誤逮捕，美國(guó)公民自由聯(lián)盟記錄了此案。因此在部署之前，各機(jī)構(gòu)應(yīng)評(píng)估人工智能系統(tǒng)可能產(chǎn)生的影響，例如侵犯權(quán)利、對(duì)弱勢(shì)群體造成傷害以及錯(cuò)誤分布情況，同時(shí)還應(yīng)評(píng)估人工監(jiān)督、申訴機(jī)制和補(bǔ)救措施的必要性，并盡可能進(jìn)行公開(kāi)報(bào)告。

第三，人工監(jiān)督必須真實(shí)有效，且經(jīng)過(guò)培訓(xùn)并受到保護(hù)。在許多機(jī)構(gòu)中，當(dāng)員工面臨信任系統(tǒng)輸出的壓力時(shí)，“人為干預(yù)”的權(quán)力往往受到限制。澳大利亞的“機(jī)器人債務(wù)計(jì)劃”表明，當(dāng)官員將系統(tǒng)生成的索賠視為權(quán)威依據(jù)時(shí)，自動(dòng)化的福利債務(wù)計(jì)算會(huì)如何損害人們的利益。在R (Bridges)訴南威爾士警方一案中，英國(guó)上訴法院裁定實(shí)時(shí)面部識(shí)別的使用違法，部分原因是圍繞自由裁量權(quán)、數(shù)據(jù)保護(hù)和公平影響的保障措施不足。英國(guó)郵政的“地平線(xiàn)”丑聞也暴露了類(lèi)似的失?。喝藗兙谷幌嘈庞腥毕莸能浖敵觯皇菙?shù)百名郵局分局長(zhǎng)的親身經(jīng)歷。歐洲《人工智能法》第14條的價(jià)值在于，它要求對(duì)高風(fēng)險(xiǎn)人工智能系統(tǒng)進(jìn)行人工監(jiān)督的人員必須理解、監(jiān)控、解釋、覆蓋或中斷系統(tǒng)。任何使用具有重大影響的人工智能的機(jī)構(gòu)都應(yīng)該指定負(fù)責(zé)的審查人員，培訓(xùn)他們識(shí)別自動(dòng)化偏差，并賦予他們阻止有害輸出的真正權(quán)力。

第五，某些做法理應(yīng)被禁止。旨在利用弱點(diǎn)、通過(guò)欺騙性設(shè)計(jì)扭曲行為或操縱兒童和其他弱勢(shì)群體的系統(tǒng)，理應(yīng)受到禁止，而非僅僅給予溫和的指導(dǎo)。歐盟《人工智能法》第五條禁止某些操縱性和剝削性用途，劃定了一條必要的強(qiáng)硬界限。一個(gè)健康的數(shù)字社會(huì)不能僅僅依靠信息披露，而應(yīng)關(guān)注其底層設(shè)計(jì)是否旨在破壞判斷力。

算法素養(yǎng)應(yīng)被視為公民基礎(chǔ)設(shè)施。如果只有開(kāi)發(fā)者、供應(yīng)商和合規(guī)團(tuán)隊(duì)了解這些系統(tǒng)的運(yùn)作方式，即使在良好的監(jiān)管下，權(quán)力不對(duì)稱(chēng)的問(wèn)題依然存在。公民、教師、法官、記者、臨床醫(yī)生和公共管理者都需要具備關(guān)于合成媒體、排名系統(tǒng)、行為引導(dǎo)、質(zhì)疑權(quán)以及模型輸出局限性的實(shí)用素養(yǎng)。歐洲關(guān)于人工智能素養(yǎng)的第四條條款是一個(gè)有益的信號(hào)，應(yīng)發(fā)展成為一項(xiàng)更廣泛的公共使命。除了人工智能素養(yǎng)之外，現(xiàn)在正是投資于雙重素養(yǎng)的時(shí)候，以確保用戶(hù)能夠意識(shí)到個(gè)人感知、行為與人工資產(chǎn)對(duì)其影響之間的相互作用。

歸根結(jié)底，算法代理不對(duì)稱(chēng)并非一個(gè)孤立的技術(shù)問(wèn)題，而是一種結(jié)構(gòu)性失衡，即誰(shuí)能夠感知、塑造和抵制算法的力量。一方學(xué)習(xí)速度更快，持續(xù)測(cè)試并悄然干預(yù)；另一方則在部分信息不透明的情況下進(jìn)行適應(yīng)。良好的政策無(wú)法徹底消除這種不對(duì)稱(chēng)，但可以通過(guò)使自動(dòng)化影響可見(jiàn)、可質(zhì)疑、可審計(jì)和可治理，在最關(guān)鍵的領(lǐng)域縮小差距。