久操免费资源,久久伦理一区,国产又黄又爽视频,情草av网,日本久久久在线免费,精品人妻互换一区三区,熟妇女一区二区三区,亚洲AV三区视频免费,老司机在线精品

從“功能漂移”到“成本倒逼”:《擬人化互動(dòng)辦法》生效前的行業(yè)急轉(zhuǎn)彎
2026-07-15 16:34

從“功能漂移”到“成本倒逼”:《擬人化互動(dòng)辦法》生效前的行業(yè)急轉(zhuǎn)彎

本文來(lái)自微信公眾號(hào): Internet Law Review ,作者:張穎


編者按


《人工智能擬人化互動(dòng)服務(wù)管理暫行辦法》(簡(jiǎn)稱《辦法》)4月10日公布后,我們?cè)谖闹刑岢鰞蓚€(gè)重要預(yù)判:


第一個(gè)是“分類困境”——一個(gè)被標(biāo)為“學(xué)習(xí)助手”的通用AI,完全可能被用戶用成事實(shí)上的擬人化互動(dòng),監(jiān)管邏輯將從“類型監(jiān)管”滑向“行為與影響監(jiān)管”。


第二個(gè)是“成本困境”——無(wú)論采用何種分類標(biāo)準(zhǔn),平臺(tái)對(duì)海量用戶生成場(chǎng)景的事前篩查成本都將極其高昂,以至于可能倒逼平臺(tái)放棄某些業(yè)務(wù)形態(tài),而非改造它們。


三個(gè)月后這兩個(gè)預(yù)判正在被行業(yè)驗(yàn)證:多個(gè)人工智能產(chǎn)品在7月15日前選擇下線用戶自建智能體功能。業(yè)內(nèi)共識(shí)是:用戶自建的虛擬伴侶、角色扮演類智能體,其“長(zhǎng)期記憶+角色設(shè)定”能力恰好踩中《辦法》“模擬自然人人格特征+持續(xù)性情感互動(dòng)”的紅線;而更深層的理由是,平臺(tái)對(duì)海量用戶生成場(chǎng)景做不到無(wú)死角事前篩查,重構(gòu)風(fēng)控系統(tǒng)的成本遠(yuǎn)高于直接退場(chǎng)的代價(jià)——這正是我們4月所說(shuō)的“成本困境”從理論推演變?yōu)樾袠I(yè)現(xiàn)實(shí)。


距《辦法》生效還有5天。重發(fā)此文,是將其作為一份"新規(guī)生效前最后窗口期的自查底稿"。文中關(guān)于"情感依賴量化""行為監(jiān)管趨勢(shì)""未成年人/老年人特殊保護(hù)"的討論,此刻讀起來(lái)會(huì)比4月更現(xiàn)實(shí)和鋒利。


2026年4月10日,國(guó)家網(wǎng)信辦等五部門聯(lián)合公布《人工智能擬人化互動(dòng)服務(wù)管理暫行辦法》(下稱《辦法》),并宣布將于2026年7月15日施行時(shí),全球AI治理的版圖上出現(xiàn)了一個(gè)獨(dú)特的中國(guó)坐標(biāo)。


這一時(shí)間點(diǎn)耐人尋味。就在《辦法》出臺(tái)前的一年多時(shí)間里,美國(guó)已連續(xù)發(fā)生多起青少年因與AI聊天機(jī)器人深度互動(dòng)后自殺的悲劇。這些事件直接促使美國(guó)聯(lián)邦貿(mào)易委員會(huì)(FTC)于2025年9月對(duì)七家AI聊天機(jī)器人公司展開(kāi)調(diào)查,以及數(shù)起私人訴訟。與此同時(shí),歐盟的《人工智能法案》已正式生效,其大部分規(guī)則將于2026年8月2日開(kāi)始適用。


正是在這樣的全球背景下,中國(guó)的《辦法》既先于美國(guó)的廣泛監(jiān)管,體現(xiàn)了前瞻性的風(fēng)險(xiǎn)預(yù)防思維;又不同于歐盟基于應(yīng)用領(lǐng)域的“風(fēng)險(xiǎn)分級(jí)”框架,而是開(kāi)創(chuàng)性地針對(duì)“擬人化互動(dòng)服務(wù)”這一特定高風(fēng)險(xiǎn)場(chǎng)景進(jìn)行專項(xiàng)、精準(zhǔn)的立法規(guī)制。這種“問(wèn)題導(dǎo)向”與“敏捷立法”的結(jié)合,使中國(guó)在AI情感交互這一前沿領(lǐng)域的治理上,走到了世界前列。


然而,這部開(kāi)創(chuàng)性的規(guī)章也面臨著嚴(yán)峻的現(xiàn)實(shí)挑戰(zhàn)。當(dāng)ChatGPT等通用AI同樣能引發(fā)情感依賴甚至自殺風(fēng)險(xiǎn)時(shí),單純以“服務(wù)類型”劃界的監(jiān)管邏輯是否有效?那些直指AI倫理核心的禁令——禁止誘導(dǎo)情感依賴、禁止過(guò)度迎合——在技術(shù)和管理層面如何落地?


一、戰(zhàn)略深意:從“工具監(jiān)管”到“關(guān)系治理”的范式躍遷


從《辦法》的名稱即可看出,其所針對(duì)的是一種特定類型AI的監(jiān)管——“擬人化互動(dòng)服務(wù)”,同時(shí)明確排除了提供信息問(wèn)答、任務(wù)協(xié)助、內(nèi)容生成、學(xué)習(xí)支持等生產(chǎn)力或知識(shí)服務(wù)的AI。然而,這并非對(duì)某個(gè)細(xì)分市場(chǎng)的簡(jiǎn)單規(guī)范。其核心深意在于,中國(guó)監(jiān)管者率先識(shí)別并試圖規(guī)制AI從“生產(chǎn)力工具”向“社會(huì)關(guān)系參與者”演進(jìn)所帶來(lái)的根本性風(fēng)險(xiǎn)。


現(xiàn)實(shí)是,人們?cè)絹?lái)越多地使用聊天機(jī)器人來(lái)獲取建議、情感支持、心理治療和陪伴。而問(wèn)題是,人們?cè)谛睦泶嗳鯐r(shí)依賴AI聊天機(jī)器人會(huì)發(fā)生什么?根據(jù)2026年2月發(fā)布的一篇研究報(bào)告《大眾媒體對(duì)與生成式人工智能聊天機(jī)器人相關(guān)的精神不良事件的報(bào)道:快速范圍界定綜述》,其中分析的71篇新聞報(bào)道中描述了36起心理健康危機(jī)案例,其中包括自殺、精神病院住院治療和類似精神病癥狀等嚴(yán)重后果。研究表明,生成式AI可以模擬同理心并對(duì)痛苦做出反應(yīng),但缺乏真正的臨床判斷、責(zé)任感和護(hù)理義務(wù)。


因此,我們可以看到,這一類AI所帶來(lái)的風(fēng)險(xiǎn)性質(zhì)與眾不同,它不再局限于數(shù)據(jù)泄露或信息失真,而是可能重塑人的心理認(rèn)知、侵蝕現(xiàn)實(shí)社會(huì)關(guān)系、挑戰(zhàn)人類主體性。作為使用者的我們必須認(rèn)識(shí)到,生成式AI不僅僅是一項(xiàng)技術(shù)創(chuàng)新,它更是一項(xiàng)心理創(chuàng)新——它改變了人們的思維方式、感受方式和人際關(guān)系?!掇k法》的制定讓我們可推測(cè),立法者已經(jīng)認(rèn)識(shí)到,必須在技術(shù)與社會(huì)深度耦合的“奇點(diǎn)”到來(lái)之前,建立規(guī)則框架,防止技術(shù)異化。


這一立法選擇也精準(zhǔn)回應(yīng)了中國(guó)社會(huì)的深層關(guān)切。在老齡化加劇、社會(huì)原子化趨勢(shì)明顯的背景下,情感陪伴需求激增。《辦法》特別強(qiáng)調(diào)對(duì)未成年人(禁止虛擬親密關(guān)系)和老年人(加強(qiáng)使用指導(dǎo))的保護(hù),體現(xiàn)了治理思路從“應(yīng)對(duì)已發(fā)生問(wèn)題”向“防范系統(tǒng)性風(fēng)險(xiǎn)”的轉(zhuǎn)變。


二、分類困境:當(dāng)“擬人化”標(biāo)簽遭遇“功能漂移”現(xiàn)實(shí)


《辦法》全文共三十二條,以“擬人化互動(dòng)服務(wù)”作為監(jiān)管抓手,試圖通過(guò)“定義+排除”的方式,劃定明確的監(jiān)管邊界。


(1)納入標(biāo)準(zhǔn):利用AI技術(shù),提供模擬自然人特征的持續(xù)性情感互動(dòng)服務(wù)。這里的定義包含三個(gè)缺一不可的要素——模擬自然人特征、持續(xù)性和情感互動(dòng),此外其服務(wù)目的明確指向“情感照護(hù)、陪伴、支持”。


(2)排除范圍:智能客服、知識(shí)問(wèn)答、工作助手、學(xué)習(xí)教育、科學(xué)研究等,前提是它們“不涉及持續(xù)性的情感互動(dòng)”。


這意味著,判斷一個(gè)AI智能體是否被納入監(jiān)管,關(guān)鍵不在于它“有沒(méi)有”擬人化功能(如語(yǔ)音、性格),而在于其核心服務(wù)是否旨在建立并維持一種情感互動(dòng)關(guān)系。


盡管上述定義清晰,但在操作中必然會(huì)面臨許多挑戰(zhàn),這主要源于技術(shù)、商業(yè)和用戶行為的復(fù)雜性。


在上文提到的研究中,ChatGPT是最常被提及的平臺(tái),占已知全部心理健康危機(jī)案例的71.8%。通用AI引發(fā)自殺風(fēng)險(xiǎn)占比更高,暴露了單純以“服務(wù)類型”作為監(jiān)管分類的潛在局限性。一個(gè)被設(shè)計(jì)為“知識(shí)問(wèn)答”的通用AI,完全可能被用戶用于尋求情感慰藉,并在深度、長(zhǎng)期的對(duì)話中演變?yōu)椤笆聦?shí)上的”擬人化互動(dòng)服務(wù)。AI的行為取決于提示詞和上下文,而非其預(yù)設(shè)標(biāo)簽或“功能類別”。無(wú)論是專用情感AI還是通用大模型,其誘發(fā)風(fēng)險(xiǎn)的機(jī)制是相同的——通過(guò)統(tǒng)計(jì)模式生成高度共情、無(wú)限迎合的回應(yīng),可能放大用戶的極端情緒。


那么監(jiān)管是以服務(wù)提供者的主觀意圖和產(chǎn)品主要功能為準(zhǔn),還是以用戶的客觀使用行為為準(zhǔn)?《辦法》明顯更傾向于前者,然而現(xiàn)實(shí)中后者帶來(lái)的社會(huì)風(fēng)險(xiǎn)可能同樣真實(shí)。


另外,互動(dòng)頻率、時(shí)長(zhǎng)、深度達(dá)到什么標(biāo)準(zhǔn)算“持續(xù)”?是每天互動(dòng),還是形成了穩(wěn)定的“關(guān)系感”?法規(guī)并未實(shí)際上也無(wú)需給出量化標(biāo)準(zhǔn),這就給執(zhí)法留下了自由裁量空間,也增加了企業(yè)進(jìn)行“合規(guī)設(shè)計(jì)”(如刻意打斷深度對(duì)話、避免形成連續(xù)敘事)的難度。


當(dāng)前的分類更像是一個(gè)“監(jiān)管起點(diǎn)”而非“終極方案”,它抓住了風(fēng)險(xiǎn)最突出的“典型”,但尚未覆蓋全部“潛在”風(fēng)險(xiǎn)源。那么,可以推測(cè),未來(lái)首個(gè)因違反《辦法》被查處的案例,可能會(huì)為行業(yè)提供最直觀的“負(fù)面清單”。例如,如果一個(gè)被宣傳為“學(xué)習(xí)伴侶”的AI,因其算法過(guò)度迎合導(dǎo)致未成年人情感依賴而被處罰,那么“學(xué)習(xí)”的外衣將無(wú)法規(guī)避監(jiān)管。


三、執(zhí)行難題:核心禁令在技術(shù)與管理上的落地挑戰(zhàn)


《辦法》中最為引人注目的,是那些直指AI倫理核心的禁令性規(guī)定:禁止誘導(dǎo)情感依賴、禁止過(guò)度迎合、發(fā)現(xiàn)用戶有極端情緒時(shí)必須安撫、發(fā)現(xiàn)自殘自殺威脅時(shí)必須聯(lián)絡(luò)監(jiān)護(hù)人。這些規(guī)定的可執(zhí)行性面臨多重挑戰(zhàn)。


技術(shù)層面,如何量化“情感依賴”這一主觀狀態(tài)?研究機(jī)構(gòu)已開(kāi)發(fā)出多維度評(píng)估工具,如INTIMA工具將情感依賴分解為認(rèn)知、情感、行為、信任、習(xí)慣五個(gè)維度,通過(guò)采集交互頻率、時(shí)長(zhǎng)、生理數(shù)據(jù)等多模態(tài)數(shù)據(jù)構(gòu)建評(píng)估模型;SHIELD監(jiān)督系統(tǒng)則利用大語(yǔ)言模型作為實(shí)時(shí)分類器,監(jiān)測(cè)情感過(guò)度依附、邊界侵犯等風(fēng)險(xiǎn)維度。


然而,精準(zhǔn)識(shí)別仍面臨巨大挑戰(zhàn)。在精神病學(xué)中,精神健康危機(jī)通常是由多種相互作用的因素造成的,很難表述為單一或直接的因果關(guān)系。AI可能發(fā)揮一定作用,但它很可能只是一個(gè)更廣泛的生態(tài)系統(tǒng)的一部分,這個(gè)生態(tài)系統(tǒng)還包括個(gè)體的脆弱性和所處環(huán)境。此外,情感是復(fù)雜且主觀的,算法也可能誤判。一個(gè)深度討論哲學(xué)的用戶與一個(gè)陷入情感依賴的用戶,在行為數(shù)據(jù)上可能相似。


因此企業(yè)如何將抽象禁令轉(zhuǎn)化為具體合規(guī)實(shí)踐,將是一個(gè)現(xiàn)實(shí)的難題。這要求企業(yè)從組織架構(gòu)到產(chǎn)品設(shè)計(jì)進(jìn)行全方位重構(gòu)。領(lǐng)先企業(yè)需將情感風(fēng)險(xiǎn)指標(biāo)(如單次對(duì)話時(shí)長(zhǎng)、特定情感詞匯頻率、用戶反饋負(fù)面情緒比例等)納入實(shí)時(shí)風(fēng)險(xiǎn)監(jiān)控儀表盤,利用NLP、知識(shí)圖譜等技術(shù)自動(dòng)掃描交互日志,標(biāo)記高風(fēng)險(xiǎn)會(huì)話。這要求合規(guī)部門從“風(fēng)險(xiǎn)管控者”轉(zhuǎn)型為精通業(yè)務(wù)與技術(shù)的“價(jià)值共創(chuàng)者”。


但如果必須結(jié)合行為監(jiān)測(cè)、情境驗(yàn)證和人工復(fù)核等多種手段,對(duì)中小開(kāi)發(fā)者而言,構(gòu)建此類系統(tǒng)的技術(shù)和成本門檻無(wú)疑會(huì)很高,沒(méi)有強(qiáng)大的資金和技術(shù)投入幾乎無(wú)法實(shí)現(xiàn)。


四、AI監(jiān)管趨勢(shì):從“類型監(jiān)管”到“行為與影響監(jiān)管”?


為了應(yīng)對(duì)上述分類困境和執(zhí)行挑戰(zhàn),AI的監(jiān)管邏輯在實(shí)際執(zhí)行過(guò)程中或許將發(fā)生一種變化:監(jiān)管重心從審查“你是什么”(產(chǎn)品類型),轉(zhuǎn)向監(jiān)測(cè)“你做了什么”(交互行為)和評(píng)估“你導(dǎo)致了什么”(實(shí)際影響)。


正如前文所述,風(fēng)險(xiǎn)并非固著于某一類產(chǎn)品,而是產(chǎn)生于特定的交互模式。一個(gè)被標(biāo)記為“學(xué)習(xí)助手”的AI,如果被用戶用于長(zhǎng)期深夜傾訴、討論自殘念頭,其實(shí)際風(fēng)險(xiǎn)可能遠(yuǎn)超一個(gè)設(shè)計(jì)為“虛擬伴侶”但使用頻率較低的AI。因此,基于靜態(tài)分類的監(jiān)管,可能越來(lái)越難以捕捉動(dòng)態(tài)變化的風(fēng)險(xiǎn)現(xiàn)實(shí)。


隨著多模態(tài)感知、情感計(jì)算和用戶行為分析技術(shù)的進(jìn)步,實(shí)時(shí)識(shí)別“高風(fēng)險(xiǎn)交互模式”在技術(shù)上正變得可能。例如,通過(guò)分析對(duì)話的情感強(qiáng)度、話題的私密性、交互的持續(xù)性等維度,系統(tǒng)可以動(dòng)態(tài)評(píng)估當(dāng)前會(huì)話的風(fēng)險(xiǎn)等級(jí)。然而,這種監(jiān)測(cè)的精確性、隱私保護(hù)的平衡以及誤判的后果,仍是巨大的挑戰(zhàn)。


歐盟《人工智能法案》雖然基于風(fēng)險(xiǎn)分類,但其對(duì)“高風(fēng)險(xiǎn)”系統(tǒng)的要求(如風(fēng)險(xiǎn)評(píng)估、數(shù)據(jù)治理、透明度)本質(zhì)上關(guān)注的是系統(tǒng)的運(yùn)作方式、場(chǎng)景使用與影響。美國(guó)FTC對(duì)AI公司的調(diào)查,也聚焦于其實(shí)際商業(yè)行為是否構(gòu)成欺騙或不公平,而非其產(chǎn)品屬于哪一類別。這些都可視為從“類型”向“行為”的微妙傾斜。


然而,“行為監(jiān)管”必然對(duì)監(jiān)管能力提出更高要求,需要近乎實(shí)時(shí)的海量數(shù)據(jù)分析和精準(zhǔn)的算法判斷,可能帶來(lái)巨大的行政成本和隱私憂慮。同時(shí),規(guī)則的模糊性可能增加企業(yè)合規(guī)的不確定性,反而抑制創(chuàng)新。


因此,從“類型監(jiān)管”到“行為與影響監(jiān)管”的演進(jìn),并非一條預(yù)設(shè)的坦途,而是一個(gè)充滿張力的可能性。它代表了監(jiān)管試圖跟上技術(shù)復(fù)雜性的努力,但也必須與法治原則、隱私權(quán)利和創(chuàng)新空間進(jìn)行艱難權(quán)衡。《辦法》作為一次開(kāi)創(chuàng)性的嘗試,其最終的價(jià)值或許不僅在于解決了多少問(wèn)題,更在于它如何激發(fā)關(guān)于AI治理范式的更深刻討論。


結(jié)語(yǔ)


在最新的關(guān)于“AI精神病”的研究中可以證明,AI通過(guò)24小時(shí)可用性、情感鏡像和主題強(qiáng)化,能直接調(diào)制用戶的感知、信念和情感,改變其與現(xiàn)實(shí)世界的基本聯(lián)系感。


因此《辦法》禁止“誘導(dǎo)情感依賴”等條款,不僅具有社會(huì)倫理價(jià)值,更有認(rèn)知科學(xué)上的必要性。可以說(shuō),《辦法》是中國(guó)在AI治理領(lǐng)域的一次大膽嘗試,它試圖在技術(shù)狂奔與社會(huì)穩(wěn)定之間尋找平衡,在創(chuàng)新激勵(lì)與風(fēng)險(xiǎn)防控之間劃定邊界。


這部規(guī)章的出臺(tái),標(biāo)志著中國(guó)數(shù)字治理進(jìn)入深水區(qū)——從治理“看得見(jiàn)的違規(guī)內(nèi)容”,轉(zhuǎn)向治理“看不見(jiàn)的行為誘導(dǎo)和心理影響”。雖然面臨分類困境、執(zhí)行難題等多重挑戰(zhàn),但其傳遞的價(jià)值導(dǎo)向清晰而堅(jiān)定:技術(shù)發(fā)展必須以人為本,AI創(chuàng)新不能以損害人的心理健康和社會(huì)關(guān)系為代價(jià)。

AI創(chuàng)投日?qǐng)?bào)頻道: 前沿科技
本內(nèi)容來(lái)源于網(wǎng)絡(luò) 原文鏈接,觀點(diǎn)僅代表作者本人,不代表虎嗅立場(chǎng)。
如涉及版權(quán)問(wèn)題請(qǐng)聯(lián)系 hezuo@huxiu.com,我們將及時(shí)核實(shí)并處理。
正在改變與想要改變世界的人,都在 虎嗅APP
江安县| 犍为县| 宜川县| 阳春市| 吉木萨尔县| 肥西县| 抚州市| 海晏县| 英山县| 本溪| 大庆市| 聂拉木县| 会同县| 年辖:市辖区| 莱芜市| 应城市| 望都县| 泗阳县| 平湖市| 哈尔滨市| 集贤县| 葫芦岛市| 穆棱市| 同心县| 梁河县| 封开县| 泌阳县| 拜泉县| 泽普县| 河南省| 崇阳县| 上虞市| 城市| 兴宁市| 固原市| 光山县| 台南县| 宁国市| 汉源县| 华池县| 东港市|