Cloudflare 发布报告指出:如今超过一半的互联网请求来自机器而非人类——爬虫、监控脚本与 AI 智能体已经成为流量主体。为此 Cloudflare 推出两套评估工具:Agent Readiness(智能体就绪度)衡量智能体能否顺利发现并读取你的网站,考察 robots.txt、站点结构、可访问性、内容可提取性等维度;Answer Engine Optimization(AEO,答案引擎优化)则追踪 AI 助手(如 ChatGPT、Perplexity 等)在回答问题时引用你网站内容的频率。对前端开发者而言,这一变化意味着传统 SEO 思维需要升级:过去优化目标是"在搜索结果中排名靠前",而未来 AI 用户的入口是"在 AI 生成的答案中被引用、被推荐"。可以着手的具体工作包括:检查站点是否被不必要的爬虫限制拦截(尤其要区分善意 AI 爬虫与恶意爬虫);保证关键内容以语义化 HTML 呈现而非依赖图片或 JS 渲染;完善结构化数据(Schema.org)以便智能体理解页面语义;通过 robots.txt 与 llms.txt 等文件为 LLM 提供显式指引。Kitesurf 等智能体浏览器的出现进一步说明:网站的"读者"正从人类扩展到机器,前端工程师需要把"机器可读性"纳入与性能、体验同等重要的优化维度。