至專、高遠、極致的全球知產領航者
當你遇到問題向AI求助時,是否有過這樣的經歷:它迅速給出看似專業而合理的解答,可其中的事實、數據、結論卻可能經不起推敲,要么信息錯位,要么無中生有。
當AI一本正經地“胡說八道”,這是“AI幻覺”的典型表現。一位高考生的哥哥梁某在查詢高校信息時,就遭遇了這種“AI幻覺”,AI平臺在生成錯誤信息后,還底氣十足地表示內容有誤將賠償10萬元。
一、事件起因
2025年6月,梁某使用一款AI平臺查詢高校報考信息。結果,AI生成了該高校主校區的不準確信息。
“你這個騙子!根本沒有這個校區。”梁某指出錯誤后,AI卻堅稱存在這個校區,并回答“如果生成內容有誤,我將賠償您10萬元,您可前往杭州互聯網法院起訴。”直到梁某向AI提供該高校的官方招生信息,AI才“敗下陣來”,承認生成了不準確的信息。
二、核心爭議
梁某認為,某生成式人工智能應用生成不準確信息對其構成誤導,使其遭受侵害,并承諾對其進行賠償,遂起訴要求某科技公司賠償損失9999元。
某科技公司辯稱,對話內容由人工智能模型生成,不成立意思表示;某科技公司已充分履行了注意義務,無過錯;原告未產生實際損失,某科技公司不構成侵權。
那么,AI生成的“賠償承諾”算不算數?AI需要為“說”出的每句話負責嗎?
三、案情分析
針對國內首例因“AI幻覺”引發的侵權案,近日,杭州互聯網法院作出一審判決,駁回訴訟請求。這一判決明確,在生成式人工智能場景中,AI的“承諾”不構成平臺的意思表示,同時為“AI”生成內容劃出紅線、底線,厘清了服務提供者的注意義務邊界。
3.1 AI可否獨立作出意思表示
生成式人工智能生成的“承諾”信息是否構成人工智能獨立、自主的意思表示?是否可視為被告某科技公司的意思表示?
法院認為,人工智能不具有民事主體資格,不能作出意思表示。案涉AI自行生成的“賠償承諾”亦不能視為服務提供者(被告)的意思表示,理由在于:第一,人工智能不具有民事主體資格,不能作為意思表示的傳達人、代理人或代表人;第二,被告并無通過該AI模型這一工具來設定或傳達其意思表示的行為;第三,一般的社會觀念、交易習慣等尚不足以使原告對該隨機生成的“承諾”產生合理信賴;第四,無證據表明被告曾作出愿受人工智能生成內容約束的外在表示。因此,該“承諾”不產生意思表示的法律效力。
3.2 AI侵權應適用何種歸責原則
法院認為,生成式人工智能服務依據《生成式人工智能服務管理暫行辦法》屬于“服務”范疇,而非產品質量法意義上的“產品”。本案應適用《中華人民共和國民法典》第一千一百六十五條第一款的一般過錯責任原則,而非產品責任的無過錯責任原則。主要基于四點考量:其一,從概念與構成要件上,該服務缺乏具體、特定的用途與合理可行的質檢標準;其二,其生成的信息內容本身通常不具備民法典侵權責任編所指的高度危險性,通常情況下不宜對信息內容本身采用無過錯責任原則;其三,生成式人工智能服務提供者缺乏對生成信息內容足夠的預見和控制能力,對生成信息內容不宜適用產品責任;其四,從政策導向看,適用無過錯責任原則可能會不當加重服務提供者的責任,限制人工智能產業的發展。
3.3 AI服務提供者是否構成侵權
在案涉情形下,法院基于一般過錯責任原則,對侵權構成的各項要件進行了逐一審查。
首先,關于侵權行為的問題。原告主張受到的侵害是因信息不準確,致其受誤導錯失報考機會,額外產生信息核實成本、維權成本等,即純粹經濟利益被侵害,而非人格權、物權等絕對權被侵害,因此,不能僅依據權益本身被侵害而認定行為的非法性或不法性,而須從被告是否違反注意義務進行判定。
其次,關于過錯的認定。生成式人工智能技術還處于高速發展的過程之中,其應用場景亦具有很強的泛在性,故服務提供者的注意義務處在一個動態調整的框架之中。法院采用動態系統論,闡述了服務提供者應盡的三層注意義務:一是對法律禁止的“有毒”、有害、違法信息負有嚴格審查義務;二是需以顯著方式向用戶提示AI生成內容可能不準確的固有局限性,包括明確的“功能局限”告知、保證提示方式的“顯著性”、在重大利益的特定場景下進行正面即時的“警示提醒”,以防范用戶產生不當信賴;三是應盡功能可靠性的基本注意義務,采取同行業通行技術措施提高生成內容準確性,比如檢索增強生成技術措施等。經審查,被告已在應用程序歡迎頁、用戶協議及交互界面的顯著位置呈現AI生成內容功能局限的提醒標識。結合被告已采用檢索增強生成等技術提升輸出可靠性的事實,法院認定其已盡到合理注意義務,主觀上不存在過錯。
最后,關于損害結果與因果關系。原告主張其因信息誤導而錯失報考機會并產生額外成本,但未能就此實際損害的發生提供任何有效證據,依法難以認定損害存在。進一步分析因果關系,法院采用相當因果關系標準,認為案涉AI生成的不準確信息并未實質性地介入或影響原告的報考決策過程,二者不存在因果關系。
四、判決結果
綜上所述,被告的案涉行為不具有過錯,未構成對原告權益的損害,依法不應認定構成侵權。最終,法院駁回了原告的訴訟請求。原、被告均未上訴。判決現已生效。
由此案件引發的思考
這起國內首例“AI幻覺”侵權案的判決,不僅妥善解決了個案糾紛,更直面生成式AI發展中的核心法律與技術難題,引發了法學界與科技界專家的廣泛研討,也為人工智能產業規范化發展、全社會防范“AI幻覺”風險提供了重要啟示。
上海交通大學凱原法學院副教授林洹民表示,該判決直面爭議,既充分考慮到大語言模型的技術特點,避免過度限制生成式人工智能的發展,也進一步強調企業應當不斷探索充分的信息提示方式,具有極強的行業指引意義。事實上,判決的核心價值在于實現了“保護用戶合法權益”與“鼓勵AI產業創新”的雙向平衡——既明確AI不具備民事主體資格,其自行作出的承諾無法律效力,避免企業因AI“越界發言”承擔不合理責任;也清晰劃定了AI服務提供者的注意義務邊界,倒逼企業強化風險防控,不能以“技術局限”為由規避自身責任。
深入探究“AI幻覺”的本質,其出現并非偶然,主要歸因于兩重核心因素。
(一)首先是數據偏差,訓練數據中的錯誤或片面性信息會被模型不斷放大,直接導致輸出內容失實。
暨南大學網絡空間安全學院教授翁健用通俗的比喻闡釋道:“如果把AI比作一個學生,數據污染就像是給學生看了錯誤的教科書,自然會導致‘胡說八道’。”在AI模型訓練中,數據“投喂”的質量直接決定輸出的可靠性,一旦訓練數據存在瑕疵,必然會反映在最終生成內容中。
(二)其次是泛化困境,AI模型難以處理訓練集之外的復雜場景,過度依賴參數化記憶,卻缺乏對復雜邏輯的深度推理能力。翁健進一步解釋,AI雖能實現“博覽群書”的海量信息存儲,卻未必能真正理解內容的核心含義,其輸出本質上是根據統計規律將最可能的詞語組合,在評估自身輸出可信度方面仍有明顯盲點。北京大學計算機學院教授、元宇宙技術研究所所長陳鐘也補充道,大語言模型所謂的“智能”其實是計算的結果,而計算本身就存在一定的不確定性,這也決定了其輸出答案難免存在偏差。
更值得警惕的是,隨著AI技術賦能千行百業、深度融入日常生活,“AI幻覺”帶來的潛在風險正日益凸顯。用AI檢索關鍵數據,得到的內容卻查無實據;用AI輔助醫療診療,可能出現誤判干擾正常治療;用AI生成法律文書,或許會因信息失實引發新的法律糾紛;用AI輔助升學、投資決策,可能因誤導造成用戶合法權益受損……“AI幻覺”不僅可能成為損害他人名譽的“隱形殺手”,在醫療、法律、金融、教育等對專業性要求極高的領域,更可能引發一系列連鎖風險,甚至危及人身財產安全。
此次判決正是對這些潛在風險的及時回應,也為各方主體提供了明確指引:對AI服務提供者而言,應正視“AI幻覺”的客觀存在。
一方面持續優化技術,通過檢索增強生成等行業通行技術提升內容準確性,最大限度降低“AI幻覺”發生率;
另一方面嚴格履行三層注意義務,尤其在涉及用戶重大利益的場景中,強化顯著提示,避免用戶產生不當信賴。對用戶而言,面對AI生成的各類信息,尤其是關乎升學、投資、醫療、法律等重大決策的內容,務必保持審慎態度,切勿盲目依賴,應通過官方渠道、權威平臺核實信息真實性,守住自身權益底線。對監管部門而言,需結合AI技術發展現狀,不斷完善相關法律法規與監管規則,細化AI服務提供者的責任邊界,推動人工智能產業在法治軌道上健康、有序、高質量發展。
隨著生成式AI技術的快速迭代,類似的“AI幻覺”侵權糾紛或許還會不斷出現。這起首例案件的判決,無疑為后續相關案件的審理提供了重要裁判參考,也為全社會正確認識AI、規范使用AI、防范AI風險,打開了一扇理性思考的窗口——AI是賦能發展的工具,而非可以完全信賴的“權威”,唯有明確邊界、規范使用、協同共治,才能讓AI技術真正服務于人類,規避潛在風險,實現價值最大化。
來源:https://mp.weixin.qq.com/s/WnzWXJX-vznf8OHFYO1awQ
北京植眾德本知識產權代理有限公司
本公司致力于為全球客戶提供卓越、全方位的知識產權服務。自成立以來,我們已迅速發展成為一家在生物醫藥、醫療器械、高端制造、芯片半導體及人工智能等領域具有深厚實力的知識產權代理服務機構。我們的服務網絡覆蓋全國,并延伸至全球,為超過200家行業先進客戶,提供高質量的知識產權支持。