買咖啡機(jī)先問AI推薦,選血壓計(jì)的“第一反應(yīng)”是讓大模型比一比——當(dāng)越來越多人把生成式人工智能當(dāng)作消費(fèi)決策的“第一助手”,一個(gè)新的問題浮出水面:AI給出的答案,真的客觀嗎?
今年總臺(tái)“3·15”晚會(huì)(以下簡(jiǎn)稱3·15)曝光了一條產(chǎn)業(yè)鏈:一些機(jī)構(gòu)通過批量發(fā)布軟文、編造虛假測(cè)評(píng)報(bào)告、虛構(gòu)專家身份等方式,向大模型的數(shù)據(jù)源“投喂”定制內(nèi)容,讓商業(yè)推廣以“AI標(biāo)準(zhǔn)答案”的面目呈現(xiàn)在用戶面前。有媒體將此類操控稱為對(duì)AI的“投毒”——通過批量制造帶有商業(yè)傾向的內(nèi)容,影響大模型的抓取、引用和推薦結(jié)果。這種被稱為“GEO(生成式引擎優(yōu)化)‘投毒’”的操作,已從灰色地帶走向產(chǎn)業(yè)化運(yùn)作。
當(dāng)“投毒”成為生意,誰來為AI答案的真實(shí)性負(fù)責(zé)?圍繞這一話題,本期議事廳邀請(qǐng)技術(shù)標(biāo)準(zhǔn)制定者、法學(xué)學(xué)者、一線律師和AI行業(yè)從業(yè)者展開討論,試圖厘清AI答案可信邊界的責(zé)任坐標(biāo)。

【訪談嘉賓】
姚佳(中國(guó)社會(huì)科學(xué)院法學(xué)研究所教授)
何延哲(中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院網(wǎng)安中心測(cè)評(píng)實(shí)驗(yàn)室副主任)
廖懷學(xué)(泰和泰律師事務(wù)所高級(jí)合伙人、中國(guó)廣告協(xié)會(huì)智庫(kù)專家)
姚金鑫(國(guó)際電氣與電子工程師協(xié)會(huì)高級(jí)會(huì)員、烏鎮(zhèn)智庫(kù)高級(jí)研究員、人工智能創(chuàng)業(yè)者)
從“搜得到”到“答給你”:GEO答案可能比搜索排名更危險(xiǎn)?
主持人:過去二十多年,人們習(xí)慣用搜索引擎獲取信息,“搜一下”是很多決策的起點(diǎn)?,F(xiàn)在越來越多人開始問AI,這個(gè)轉(zhuǎn)變對(duì)信息生態(tài)意味著什么?
何延哲:技術(shù)變了,但背后的邏輯沒變?;ヂ?lián)網(wǎng)廣告剛起來的時(shí)候,人們把搜索引擎當(dāng)作信息收集的窗口,廣告很快就滲透進(jìn)來了,后來演變成競(jìng)價(jià)排名。經(jīng)過多年治理,搜索廣告要標(biāo)“推薦”,自然搜索則按算法排序,這套規(guī)則已經(jīng)比較成熟。然而,現(xiàn)在大家獲取信息的窗口變了,同樣的邏輯又被鉆了空子。很多人以為AI幫自己找到了最有價(jià)值的信息,沒想到里面還是廣告。
廖懷學(xué):傳統(tǒng)SEO(搜索引擎優(yōu)化)影響的是信息的檢索位序,用戶點(diǎn)進(jìn)去之后還有核實(shí)的余地。而GEO直接干預(yù)算法生成的結(jié)論本身,誘導(dǎo)用戶基于對(duì)AI“中立且權(quán)威”口吻的信賴做出決策。
姚佳:這恰好切中了生成式人工智能作為信息工具的一個(gè)關(guān)鍵特點(diǎn)。傳統(tǒng)搜索引擎在法律上被定性為“信息定位工具”,其功能限于技術(shù)性索引與中立呈現(xiàn),雖然搜索引擎也會(huì)有篩選、聚合、排序等行為,但是通常情況下,其類似于一個(gè)路標(biāo),提供的是信息訪問路徑,人們不一定完全信任,通常還會(huì)通過交叉驗(yàn)證來作判斷。但到了大模型時(shí)代,AI呈現(xiàn)出一種更高階的信息組織方式,輸出的不再是鏈接列表,而是整合后的自然語言段落。用戶的感知是它比傳統(tǒng)搜索引擎更聰明,所以對(duì)它更信任。雖然AI平臺(tái)的用戶協(xié)議都會(huì)提示搜索結(jié)果不保證準(zhǔn)確性,但實(shí)際上用戶的心理預(yù)期和現(xiàn)有技術(shù)能力之間,還是存在明顯落差。
主持人:信任感更強(qiáng),辨別力未必能跟上。從技術(shù)上看,GEO到底是怎么做到把廣告“喂”進(jìn)AI答案的?
姚金鑫:今天的AI應(yīng)用,并不只靠模型參數(shù)“記憶”來回答問題,還會(huì)調(diào)用外部信息源,如網(wǎng)頁、知識(shí)庫(kù)和檢索結(jié)果,這就是RAG(檢索增強(qiáng)生成)。當(dāng)前所謂GEO“投毒”,利用的主要正是這一環(huán)節(jié)——通過在大模型經(jīng)常調(diào)用的信息渠道上批量發(fā)布帶有特定品牌信息的定制內(nèi)容,提高被大模型抓取和引用的概率。對(duì)一般GEO服務(wù)而言,更容易被左右的不是模型底層參數(shù),而是RAG所調(diào)用的外部?jī)?nèi)容。打個(gè)比方,不是“大腦”被改寫了,而是它參考的資料被污染了。當(dāng)然,若平臺(tái)自身進(jìn)一步通過后訓(xùn)練等方式對(duì)模型輸出傾向作針對(duì)性調(diào)整,那就屬于
更深一層的系統(tǒng)干預(yù),可視作對(duì)“回答習(xí)慣”的再塑造。
虛構(gòu)產(chǎn)品、假報(bào)告、軟文矩陣:AI被“投毒”后,誰在受傷?
主持人:3·15曝光的案例中,有消費(fèi)者根據(jù)AI推薦買了“踩雷”的咖啡機(jī),有根本不存在的專家被安上“三甲醫(yī)院醫(yī)生”的頭銜做“科普”,有從未發(fā)布過的研究報(bào)告被編造出來充當(dāng)權(quán)威背書……這些虛假內(nèi)容進(jìn)入AI答案之后,會(huì)帶來哪些危害?
姚佳:首先受損的是用戶的知情權(quán)?!巴抖尽边@個(gè)詞非常形象——到了大模型時(shí)代,有毒有害、虛假信息不能出現(xiàn)在AI輸出端,這是底線問題。用戶覺得AI更聰明,可能更值得信任,但實(shí)際上看到的可能是一條被精心包裝的廣告。麻煩的是,它不像傳統(tǒng)廣告放在頁面某個(gè)角落,而是嵌在自然語言回答的邏輯里,用戶更難以辨別。
廖懷學(xué):受損的不只是個(gè)體用戶。GEO“投毒”通過介入AI語料庫(kù)直接操縱生成內(nèi)容,可以借流量“截流”破壞公平競(jìng)爭(zhēng)的市場(chǎng)秩序——誰更會(huì)“投喂”誰就上榜,認(rèn)真做產(chǎn)品的企業(yè)反而被擠出推薦位,這是典型的劣幣驅(qū)逐良幣。AI平臺(tái)往往扮演著智能時(shí)代“把關(guān)人”的角色,尤其在醫(yī)療、金融、教育等高敏感場(chǎng)景,一旦這個(gè)“把關(guān)人”被商業(yè)利益干擾,后果不只是用戶消費(fèi)“踩雷”,更可能引發(fā)生命健康損害或重大財(cái)產(chǎn)損失。
姚金鑫:還有一層容易被忽視的傷害——對(duì)AI平臺(tái)自身公信力的侵蝕。從3·15曝光的案例看,服務(wù)商直接把“喂料、‘投毒’、影響推薦結(jié)果”當(dāng)成賣點(diǎn),說明已經(jīng)進(jìn)入產(chǎn)業(yè)化操作階段。如果商業(yè)內(nèi)容長(zhǎng)期偽裝成中立答案,平臺(tái)的信任基礎(chǔ)會(huì)被持續(xù)消耗。大模型的核心競(jìng)爭(zhēng)力建立在用戶信任之上,這個(gè)基礎(chǔ)一旦動(dòng)搖,整個(gè)商業(yè)模式都會(huì)受影響。
主持人:用戶被蒙蔽、誠(chéng)信商家被擠壓、平臺(tái)公信力被透支……傷害是多層次的。如果用戶真的“踩雷”后,維權(quán)渠道能走通嗎?
姚佳:坦率地說,目前個(gè)體維權(quán)的路徑比較難。大模型平臺(tái)一般不承擔(dān)結(jié)果性義務(wù),不能保證每一條輸出都是真實(shí)的。用戶要主張損害賠償,舉證難度很大——很難證明購(gòu)買決策就是因?yàn)锳I那條回答做出的,即便固定AI生成內(nèi)容作為證據(jù),也很難證明其與受到損害之間的因果關(guān)系;尤其是有時(shí)它的回答是動(dòng)態(tài)的,下次再進(jìn)行相同提問,可能答案也會(huì)變。但這并不意味著現(xiàn)行法律完全沒有抓手——廣告法、反不正當(dāng)競(jìng)爭(zhēng)法對(duì)虛假?gòu)V告和虛假宣傳都有明確規(guī)制,關(guān)鍵是怎么用、由誰來啟動(dòng)。
廣告不能藏進(jìn)答案:平臺(tái)和商家各自責(zé)任在哪里?
主持人:維權(quán)不容易,法律工具也有待激活——這就意味著,治理不能只靠事后追責(zé),更要前移到標(biāo)識(shí)、過濾和責(zé)任劃分。搜索引擎時(shí)代,治理競(jìng)價(jià)排名最管用的一招是強(qiáng)制標(biāo)識(shí)——是廣告就標(biāo)“廣告”。到了AI答案時(shí)代,這個(gè)辦法還管用嗎?
何延哲:標(biāo)識(shí)的邏輯沒有過時(shí),它最核心的作用是糾正用戶認(rèn)知。打個(gè)標(biāo)簽,大家就知道這條信息可能有商業(yè)背景,不會(huì)盲目當(dāng)成AI替你選出的最優(yōu)解。這在技術(shù)上實(shí)現(xiàn)沒有任何難度,關(guān)鍵是標(biāo)成什么樣子?,F(xiàn)在AI大模型的對(duì)話窗口和背后的商品購(gòu)買鏈接還沒有完全打通,標(biāo)“廣告”還是標(biāo)“商業(yè)信息”,邊界還比較模糊,需要隨著業(yè)態(tài)發(fā)展再細(xì)化。但大模型對(duì)答案的出處提示、風(fēng)險(xiǎn)提醒,現(xiàn)在就可以做到。
姚金鑫:前臺(tái)機(jī)制最容易落地——廣告和自然回答分區(qū)展示,明確標(biāo)注“贊助”或“商業(yè)內(nèi)容”,允許用戶了解推薦原因、關(guān)閉或投訴,平臺(tái)短期內(nèi)就能做到。真正決定行業(yè)長(zhǎng)期健康度的是后臺(tái)機(jī)制:商業(yè)內(nèi)容和自然回答的證據(jù)鏈?zhǔn)欠裾嬲珠_,各環(huán)節(jié)是否可提供審計(jì)日志,模型對(duì)不同來源是否做了可信度分級(jí),高敏感領(lǐng)域是否有“商業(yè)內(nèi)容不得進(jìn)入主答案”的硬規(guī)則。前臺(tái)標(biāo)識(shí)容易補(bǔ),后臺(tái)的證據(jù)過濾、可信源加權(quán)、污染清洗,仍在形成過程中。
何延哲:平臺(tái)在RAG技術(shù)應(yīng)用時(shí)還可以做更嚴(yán)格的過濾——比如提高官方信源的引用比例,對(duì)官方和非官方來源做交叉對(duì)比,不確切的盡量不引用?!巴抖尽笔紾EO不是零散、偶發(fā)的信息失真,而是持續(xù)、批量的操控。面對(duì)這類異常模式,平臺(tái)如果建立起預(yù)警和識(shí)別機(jī)制,并不是完全發(fā)現(xiàn)不了。
姚佳:大模型技術(shù)迭代很快,虛假信息、“投毒”、代操作服務(wù)等新情況不斷出現(xiàn),相關(guān)灰色利益鏈條也在快速形成。技術(shù)發(fā)展本身是客觀趨勢(shì),但對(duì)濫用行為必須及時(shí)規(guī)制。因此,監(jiān)管也要同步跟進(jìn),防止問題擴(kuò)散蔓延,誤導(dǎo)消費(fèi)者,并損害大模型技術(shù)發(fā)展的整體聲譽(yù)。
主持人:技術(shù)上并非無能為力,那法律上呢?很多“投毒”內(nèi)容并非平臺(tái)主動(dòng)投放,而是通過第三方平臺(tái)發(fā)布再被大模型抓取。AI平臺(tái)能否以“被動(dòng)抓取”為由減輕責(zé)任?
廖懷學(xué):平臺(tái)能否減輕責(zé)任,關(guān)鍵不在于是不是“主動(dòng)投放”,而在于對(duì)結(jié)果有沒有實(shí)質(zhì)控制能力、是否因相關(guān)推薦獲利、有沒有盡到合理注意義務(wù)?!渡墒饺斯ぶ悄芊?wù)管理暫行辦法》明確規(guī)定,AI服務(wù)提供者應(yīng)當(dāng)采取有效措施提高生成內(nèi)容的準(zhǔn)確性和可靠性,這是底線合規(guī)義務(wù)。若平臺(tái)建立了有效的過濾與溯源機(jī)制并確實(shí)履行,其責(zé)任程度會(huì)相應(yīng)不同。但平臺(tái)的不作為,不能拿“看不見”當(dāng)理由。
主持人:現(xiàn)實(shí)中品牌方往往委托GEO服務(wù)商操作,事后卻說“我不知道服務(wù)商用了什么手段”,那各方該如何規(guī)范呢?
廖懷學(xué):《互聯(lián)網(wǎng)廣告管理辦法》明確規(guī)定,廣告主對(duì)廣告內(nèi)容的真實(shí)性負(fù)責(zé),這個(gè)責(zé)任不因委托第三方而免除。品牌方是GEO服務(wù)的發(fā)起者和最終受益者,用“不知情”作為抗辯,在行政監(jiān)管和民事責(zé)任判定中的效力很有限。若從責(zé)任劃分角度看,可以大體遵循“誰受益、誰負(fù)責(zé),誰干預(yù)、誰受限”的準(zhǔn)則:品牌方對(duì)內(nèi)容真實(shí)性承擔(dān)首要責(zé)任;GEO服務(wù)商須確保手段合法,留存完整操作日志;內(nèi)容平臺(tái)應(yīng)強(qiáng)化對(duì)“投喂”源頭的合規(guī)審核;AI大模型平臺(tái)則按干預(yù)深度分層定責(zé)——被動(dòng)抓取時(shí)承擔(dān)AI服務(wù)合規(guī)義務(wù),一旦存在受托干預(yù)或算法推薦行為,須額外履行廣告標(biāo)識(shí)、內(nèi)容審核等義務(wù)。同時(shí),市場(chǎng)監(jiān)管部門有權(quán)進(jìn)行相應(yīng)的行政處罰,包括罰款、責(zé)令停止違法行為、沒收違法所得等。
規(guī)則有待完善,平臺(tái)和用戶現(xiàn)在能做什么?
主持人:制度完善需要時(shí)間。在此之前,平臺(tái)光靠自律夠嗎?
姚金鑫:平臺(tái)自律是必要的,但不充分。一個(gè)AI平臺(tái)同時(shí)承擔(dān)認(rèn)知服務(wù)和商業(yè)轉(zhuǎn)化兩種職責(zé),這兩個(gè)目標(biāo)天然存在張力。平臺(tái)說沒有讓廣告改變答案結(jié)論,就需要有公信力的第三方來驗(yàn)證;平臺(tái)說沒有把聊天內(nèi)容用于廣告畫像,就需要外部力量來穿透檢查。這不是單純的技術(shù)檢測(cè)問題,而是一個(gè)自我監(jiān)督困境。現(xiàn)階段真正能做到的,是把前臺(tái)透明化先做起來,同時(shí)逐步推進(jìn)后臺(tái)可審計(jì)化。
何延哲:3·15之后有的大模型應(yīng)用已經(jīng)迅速行動(dòng),加了標(biāo)識(shí)、做了調(diào)整——平臺(tái)自律走在了前面。因?yàn)槠脚_(tái)直接面對(duì)用戶,最先感受到信任壓力。接下來的節(jié)奏應(yīng)該是平臺(tái)自律為先,行業(yè)協(xié)會(huì)跟進(jìn)指導(dǎo),監(jiān)管部門在把握技術(shù)發(fā)展規(guī)律的前提下加快立法立規(guī)進(jìn)程。讓惡意乃至“投毒”的信息被AI采納得越來越少,而標(biāo)識(shí)是最快的一步,也是信任重建的起點(diǎn)。
主持人:用戶又該怎么辦?
姚佳:要做一個(gè)聰明或者不輕易信任AI的用戶。大模型時(shí)代信息更豐富了,但并不意味著可以放棄判斷力。要把AI的回答當(dāng)作參考,而不是權(quán)威,重要決策仍然需要多方面搜集信息,交叉驗(yàn)證。如果發(fā)現(xiàn)明顯不符合常識(shí)或者一般判斷的推薦——比如一個(gè)從沒聽說過的品牌突然被AI說成“銷量第一”——留存證據(jù)、投訴舉報(bào)。投訴增多,監(jiān)管就會(huì)關(guān)注,環(huán)境就會(huì)優(yōu)化。早期搜索引擎也曾深陷虛假信息亂象,后經(jīng)監(jiān)管整治、行業(yè)自律和消費(fèi)者協(xié)同共治,才得以扭轉(zhuǎn),一些經(jīng)營(yíng)者濫用大模型的行為或正處于類似的治理節(jié)點(diǎn)。
主持人:從搜索引擎到大模型,信息入口換了一代,廣告?zhèn)窝b成答案的風(fēng)險(xiǎn)也換了形態(tài)。AI越被信任,答案就越要經(jīng)得起檢驗(yàn)。
最后,讓我們看看幾位特殊“嘉賓”的觀點(diǎn)。
提問:平臺(tái)識(shí)別GEO“投毒”到底有多難?正常內(nèi)容適配與惡意投毒之間,邊界能否劃清,又該如何治理?
豆包:識(shí)別GEO“投毒”極難,正常優(yōu)化與惡意投毒邊界模糊、技術(shù)上難一刀切;但可通過技術(shù)+審核+溯源+合規(guī)組合拳實(shí)現(xiàn)有效管控。技術(shù)上抓異常+事實(shí)校驗(yàn),運(yùn)營(yíng)上分級(jí)審核+信用約束,合規(guī)上溯源+法律震懾,才能把正常優(yōu)化與惡意投毒有效區(qū)隔、精準(zhǔn)管控。
千問:GEO“投毒”是數(shù)字時(shí)代的新型空間攻擊,破局需技術(shù)迭代(動(dòng)態(tài)分析模型)、規(guī)則進(jìn)化(地域信用體系)與生態(tài)協(xié)同(立法+公眾教育)三維聯(lián)動(dòng)。短期可借力AI提升識(shí)別精度,長(zhǎng)期需構(gòu)建“地理信息可信生態(tài)”,從源頭壓縮投毒生存空間。
元寶:GEO“投毒”的治理是一場(chǎng)持久戰(zhàn)。難點(diǎn)在于惡意投毒往往偽裝成正常內(nèi)容,且利用了AI模型的技術(shù)特性。平臺(tái)必須從“被動(dòng)審核”轉(zhuǎn)向“主動(dòng)防御”,通過技術(shù)手段識(shí)別批量偽造的特征,并配合監(jiān)管嚴(yán)厲打擊黑產(chǎn)鏈條,才能守住AI信息入口的純凈度。監(jiān)管要把治理關(guān)口前移到批量投喂、虛假評(píng)價(jià)、灰色發(fā)稿等鏈條環(huán)節(jié),壓實(shí)品牌方、服務(wù)商、內(nèi)容平臺(tái)和AI平臺(tái)的責(zé)任。對(duì)執(zhí)法而言,可通過集中整治、典型案件曝光和規(guī)則細(xì)化,盡快壓縮“廣告?zhèn)窝b成答案”的灰色空間。
【策劃】黃書波 李坤晟 【主持人】薛園