過去 6 個月，我們的伺服器被 20 隻 AI 爬蟲訪問了 780,000 次。
我們記錄了每一次——誰來、什麼時候來、看了什麼、停留多久。
你以為寫了 robots.txt 就能控制 AI？
實際上，有些爬蟲完全無視 robots.txt 的規則。
有些讀了但用自己的方式解釋。
有些乖乖照做。
如果你不知道哪隻爬蟲在做什麼，你的 robots.txt 只是寫給自己看的。
大部分人知道 robots.txt 和 sitemap.xml。
但很少人知道 llms.txt。
llms.txt 是寫給 AI 看的「網站懶人包」。
你的網站是做什麼的、有哪些頁面、每頁在講什麼——用 AI 看得懂的格式寫一遍。
有 llms.txt 的網站，AI 理解你的速度快 10 倍。
沒有的話，AI 只能從你的 HTML 裡慢慢猜。
有 sitemap 的網站很多。
但大部分 sitemap 沒有 lastmod（最後修改日期）。
對 AI 爬蟲來說，沒有 lastmod = 不知道哪些內容是新的。
結果就是每次都全站爬一遍，效率極低。
或者乾脆不來了。
加上 lastmod，爬蟲知道什麼是新的、什麼改過了，回訪頻率直接翻倍。
我們觀察到，有 JSON-LD（特別是 FAQPage）的網站，
被 AI 引用的機率明顯高於沒有的。
原因很簡單：AI 不用猜你的內容結構。
FAQ 就是 FAQ，問題就是問題，答案就是答案。
AI 可以直接拿來用。