详解AI爬虫配置、robots.txt规则、llms.txt文件以及WAF白名单，哪些影响可抓取、哪些影响可引用。
一、AI爬虫有哪些？
目前国内主流的 AI 爬虫包括：
- Bytespider（字节跳动 / 豆包）
- Baiduspider（百度 / 文心一言）
- YisouSpider（阿里 / 夸克）
- Sogou Spider（腾讯 / 搜狗、元宝）
- PetalBot（华为 / 小艺）
- 360Spider（360 AI）
以及各类国产大模型后续新增的专用爬虫。这些爬虫的行为模式各不相同，有的严格遵守 robots.txt，有的不完全遵守，有的通过 API 获取数据。了解不同爬虫的特点是做好 AI 爬虫管理的基础。
二、robots.txt：控制谁能抓取
robots.txt是网站根目录下的文本文件，告诉爬虫哪些页面可以抓取、哪些不可以。
允许抓取的内容
- 公开内容页面
- 产品介绍
- 博客文章
- 品牌介绍页面
这些是AI引用的主要信息源，禁止抓取会直接影响品牌在AI搜索中的可见性。
可以限制的内容
- 用户隐私页面
- 后台管理页面
- 内部搜索结果页
- 临时或测试内容
这些内容对AI引用没有价值，限制抓取可以保护隐私和节省服务器资源。
常见错误配置
- 完全禁止所有AI爬虫——导致品牌信息在AI搜索中完全消失
- 禁止抓取重要内容页面——AI无法获取关键品牌信息
- 配置语法错误——导致规则无效，等同于没有配置
三、llms.txt：引导AI理解
llms.txt是专为AI大模型设计的信息导航文件，放置在网站根目录下。与robots.txt不同，llms.txt不是控制抓取权限，而是引导AI如何理解和组织网站信息。
llms.txt的核心内容包括：
- 网站概述——用简洁语言描述网站的核心内容
- 内容结构导航——列出网站的主要栏目和页面
- 关键页面推荐——标注最重要的品牌信息页面
- 品牌核心信息摘要——直接提供AI可引用的品牌描述
一个好的llms.txt可以显著提升AI对品牌信息的理解准确度。
四、WAF白名单：确保AI可访问
WAF（Web应用防火墙）可能误拦截AI爬虫请求，导致品牌信息无法被AI获取。建议将国内主流AI爬虫的User-Agent加入WAF白名单，包括 Bytespider、Baiduspider、YisouSpider 等。
同时要监控WAF日志，及时发现和解决AI爬虫被误拦截的问题。
五、最佳实践总结
- 审计现有robots.txt配置，确保不会意外屏蔽AI爬虫
- 创建llms.txt文件，引导AI高效理解网站内容
- 配置WAF白名单，保证AI爬虫可正常访问
- 监控AI爬虫的访问情况，及时调整配置
- 定期检查品牌在AI搜索中的表现，验证配置效果