LLM 研究結論會過期：連 seo排名 都要按日期讀
截至 2026 年 11 月，凡是用「某個模型在某次研究裡的表現」去支撐 seo排名 或 AI 可見度說法的簡報，都應該補上一個日期。史丹福研究者 Owen Queen 與 James Zou 用 20 個模型重測 50 項被廣泛引用的 LLM 說法，44 percent 已經「過期」，另外 34 percent 明顯減弱；換句話說，一個結論講得越肯定，它過期的時候就越難看。
重點摘要
- 50 項被廣泛引用的 LLM 說法中，44 percent 已失效，34 percent 明顯減弱，只有 16 percent 仍然成立。
- 22 項帶有估算失效日期的發現，平均壽命 15.7 months；一年後 16 percent 失效，兩年後升至 39 percent。
- 失效最快的是「模型做唔到甚麼」；理由很現實：這些錯誤有明確的「正確答案」，訓練起來有靶。
- 同一個近期發布窗口內的模型，失效發現數由 11 項到 30 項不等，發布日期、供應商與模型大小都預測不到。
- 對營銷團隊的意義，大概是每份研究都要連同模型、版本、日期與重測條件一起用；索性不看研究，反而更難解釋數字從何而來。
研究到底證明了甚麼，又沒有證明甚麼
這不是一份「AI 模型不准」的清單。Queen 與 Zou 做的是校正工作：把手上的實證研究當成有保存期限的產品，逐一驗證它是否仍然描述今天的模型。
他們用 eight 個開發者、不同發布時間的一批模型重跑同一批命題。結果是 34 percent 的發現明顯減弱，16 percent 仍然成立，6 percent 反而變得更強。失效呈現的是一個混合結果：大部分命題失效，少數命題穩定，並非整條曲線單向下滑。
這裡有一個容易講錯的地方：過期不等於「研究者當初做錯」。當時的觀察對當時的模型是真實的，問題出在後來的讀者把它當成了永久事實。傳播鏈一長，「某個舊模型在某次測試的表現」就變成「LLM 的表現」。
為甚麼「做唔到甚麼」的結論死得最快
模型之間的差異，往往比整體趨勢更影響你手上的數字。研究指，即使落在同一個發布窗口的新模型，失效發現數可以相差很大：最少的一款為 11 項，最多的一款去到 30 項，發布日期、供應商、模型大小都無法可靠預測這個分佈。
這對「LLM 排名」類的比較文特別致命。把兩個引擎的分數並排，讀者自然會讀成「A 比 B 好」；但同一個供應商的兩代模型、甚至同一代裡的不同版本，都可能落在光譜的兩端，比較表不寫版本與日期，記錄的只是發文那天的一次快照。
研究指出，模型能力的缺失比模型的偏好更短命。九項與推理相關的發現中，Five of nine 被判定失效，而且沒有一項保住或變強，包括數「strawberry」有幾個字母、不熟悉進制下的算術、長上下文中間資訊流失，以及被用戶質疑就放棄正確答案。
研究者的推測值得記住：這類錯誤都有一個「正確」的結果，開發者知道往哪裡訓練。偏好與傾向的命題則較長壽，11 項保住或變強的發現中，Three 項涉及 LLM 作為評審的行為。
同一批新模型，結論也不一樣
引用生成能力的例子更能說明「平均數會騙人」。Walters 與 Wilder 早年測的是舊一代模型，虛構比率超過一半；重測時，同屬新一代的模型之中，一款可以把虛構比率降到幾乎為零，另一款卻仍然有 69 percent 的引用是虛構的。
這個對比不能用來宣稱「引用問題已解決」。研究本身也提醒：表現最好的一款模型，在需要合併兩項已知事實的兩跳問題上，仍有約 10 percent 的情況會答錯，即使兩個單獨問題它都答對。
內容結構與 AI 理解：第二個值得檢視的假設
業界另一個常被當成定論的說法是「做好結構化數據，AI 就會引用你」。這個說法同樣要當成假設處理。
業界分析指出，傳統搜尋依賴關鍵詞匹配與排名算法，而 LLM 透過語意理解整合多個來源生成答案；因此網站的任務由「爭排名」擴展到「讓內容可被理解與引用」。這個方向合理，但它描述的是一般機制，不是保證。
實際量測時，我會把三件事分開記：被檢索到的來源、進入答案正文的引用、以及由 AI 引荐的到站流量。三者分母不同，混在一起就會得出漂亮但無從核對的數字。對一家 seo 優化公司 而言，這三欄是否分開，比每一欄的絕對值更能決定報告是否可信。
從研究結論到量測口徑：四個要寫進報告的東西
我把這套檢驗方式搬到自己手上的報表，最有效的做法是先把「一個結論」換成「一組可重跑條件」。具體只有四件事：
- 分母寫清楚。提及率的分母是「相同條件下的有效答案」，不是「我們跑了多少次」。無來源與資料缺失要分開標示，不能一併當成零。
- 版本留痕。同一條追蹤問題換了寫法就開新版本，舊版本保留，否則前後兩期不能相比。
- 條件固定。引擎、地區、語言、取樣節奏先寫死再比較，中途改動要在報告註明。
- 失敗數照報。抓不到、樣本不足的情境標「未能判定」，不以零代替成功。
這四件事不保證結果好看，但保證下一個人接手時，能重跑出同一個數字；這也是我建議客戶每隔一季就與 seo顧問 對一次口徑的原因。對 seo顧問 的日常工作而言，這比任何一份「AI 排名因素清單」都實用：清單會過期，口徑不會。
與相關性劃清界線
很多人會問：模型變強了，是否代表我的網站就自然更容易被 AI 引用？這是最典型的相關與因果混淆。模型能力的變化與個別網站的可見度，是兩條不同的線；同期上升不代表因果，也可能是同一批內容更新、競品退出或取樣條件改變。要談因果，至少要排除這幾個同期變數。
Topkee 的看法：把成效定義成可重跑條件
Topkee 的 SEO 服務以「商業關鍵字進入自然搜尋前 10」為目標，按網站基礎、競爭差距與工作量訂製報價；前 10 是目標，搜尋排名不作無條件保證，並明確說明搜尋平台與競爭環境會影響結果。工作流程分六步：整理關鍵字簇與對應頁面、網站診斷、頁面優化、內容規劃、排名追蹤、成效回顧。排名追蹤按約定引擎、地區、語言與裝置觀察，並分清「單次進入前 10」與「持續維持前 10」——這種做法就是本文所講的版本與條件留痕，也是 Topkee 談 seo 優化公司 驗收時的共同語言。
在 AI 可見度方面，Topkee GEO 服務以真實買家問題取樣，監測品牌在生成式引擎答案中是否出現、如何被描述，六項服務包括問題追蹤、查詢扇出分析、情感與描述分析、競品對比、AI 瀏覽分析與知識內容撰寫。由入門到企業檔，活躍追蹤問題上限由 30 個遞升，每月知識內容由 20 篇遞增，月費亦按容量逐級遞升。三檔的分析類別相同，差別只在容量。
這套方法本身就標明了邊界：目前引擎以 API 取樣，不等同每位使用者在消費版產品看到的結果；DeepSeek API 適配器不提供聯網搜尋、引用或扇出資料；豆包帶實驗標記，不宜列作已保證可用的商用覆蓋；現有引用彙總包含非可見（inline=false）的檢索來源，不能直接稱為答案可見引用率。這些界定與新聞的結論互相呼應：連供應商自己的能力邊界都有日期，客戶的成效說法自然更應該有。
成效報告分四層：服務交付、搜尋與 AI 可見度、訪問與互動、商業結果，各自定義指標口徑，把「完成的工作」與「觀測到的變化」分開記錄。這種記帳方式不會讓數字變好，但會讓下一次比較有起點。
下一步：先修好你的比較表
如果你手上有任何一頁「LLM 排名因素」或「AI 可見度」的比較表，現在就可以做一次体檢：每一欄是否寫了模型版本與日期？分母是否寫清楚？失敗與缺資料有沒有分開？同期有沒有其他變動？
改完之後，把這張表當成一個版本，記下日期，下一季重跑。要找外部協作處理 SEO 的整體鋪排，可以先讀 seo排名 的追蹤方式，了解 Topkee 的關鍵字排名保障安排，再看 深度內容創作如何承接搜尋需求。
常見問題
LLM 研究結論真的會過期嗎？
會，而且比大部分人預期快。50 項被廣泛引用的說法中有 44 percent 已失效，帶有估算失效日期的 22 項平均壽命是 15.7 months。過期不代表原研究做錯，而是後來的模型已經改變。
為甚麼同一批新模型的結果差這麼遠？
研究顯示，同一個近期發布窗口內的模型，失效發現數由 11 項到 30 項不等，發布日期、供應商與模型大小都無法可靠預測。所以比較不同引擎或模型時，必須寫明版本與日期，不能用「LLM」三個字概括。
seo排名 的追蹤應該多久重做一次？
沒有一個通用答案，但原則是把每次比較都當成獨立的一次量測：固定引擎、地區、語言與取樣節奏，記錄問題版本，並保留失敗數。若中途改了任何一項條件，就當成新一期，不要直接與上一期相減。
AI 引用率可以直接用檢索來源計嗎？
不可以。被檢索到的來源與進入答案正文的引用是兩個口徑；現有引用彙總甚至包含非可見（inline=false）的檢索來源，須與答案內可見引用分開統計。分母不清楚的引用率，不具比較意義。
結構化數據可以保證 AI 引用嗎？
沒有保證。結構化數據有助系統理解內容，但 AI 是否引用還受取樣條件、引擎差異與內容是否回答具體問題影響。把它當成提升可理解性的工作，而不是成效承諾。
Sources
- Matthias Bastian, "Rapid LLM development is outrunning the research meant to explain it, study finds", The Decoder, 2026-11-03. https://the-decoder.com/rapid-llm-development-is-outrunning-the-research-meant-to-explain-it-study-finds/
- "LLMs時代的SEO轉型：結構化數據如何影響搜尋與AI理解", YouFind. https://www.youfind.hk/blog/llms-seo-ai-structured-data.html
