人人都会AI编程

帮我整理一份主流AI爬虫的robots.txt放行规则，以及各大AI站长平台的提交入口清单

更新时间：2026-07-10

一、主流AI爬虫 robots.txt 放行完整规则

以下规则可直接复制使用，放置在你网站根目录的 robots.txt 文件中（访问路径：https://r.flycode100.com/robots.txt）。规则分为国内主流AI爬虫（GEO核心）和国际主流AI爬虫，全部显式放行，同时保留基础爬虫规则和Sitemap声明。

# ========== 基础全局规则 ==========
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /search?
Disallow: /test/

# ========== 国内主流AI爬虫（GEO核心，必放行） ==========
# 字节跳动-豆包大模型专用爬虫
User-agent: DoubaoBot
Allow: /

# 字节跳动通用爬虫（抖音搜索+豆包训练数据）
User-agent: Bytespider
Allow: /

# 阿里巴巴-通义千问大模型爬虫
User-agent: TongyiSpider
Allow: /

# 百度通用爬虫（覆盖百度搜索+文心一言AI引用）
User-agent: Baiduspider
Allow: /

# 腾讯-混元大模型/微信搜一搜爬虫
User-agent: TencentBot
Allow: /

# 深度求索-DeepSeek大模型爬虫
User-agent: DeepSeekBot
Allow: /

# ========== 国际主流AI爬虫（补充覆盖） ==========
# OpenAI / ChatGPT 模型训练爬虫
User-agent: GPTBot
Allow: /

# OpenAI / ChatGPT 用户实时联网检索爬虫
User-agent: ChatGPT-User
Allow: /

# OpenAI AI搜索索引爬虫
User-agent: OAI-SearchBot
Allow: /

# Anthropic / Claude 模型训练与检索爬虫
User-agent: ClaudeBot
Allow: /

# Google Gemini AI训练与AI概览爬虫
User-agent: Google-Extended
Allow: /

# Perplexity AI搜索回答爬虫
User-agent: PerplexityBot
Allow: /

# Apple Intelligence 训练爬虫
User-agent: Applebot-Extended
Allow: /

# 必应搜索+微软Copilot爬虫
User-agent: Bingbot
Allow: /

# ========== 站点地图 ==========
Sitemap: https://r.flycode100.com/sitemap.xml

关键说明

  1. 优先级区分：国内爬虫（DoubaoBot、Baiduspider、TongyiSpider）直接决定你的内容能否被豆包、文心一言、通义千问引用，是GEO优化的核心；国际爬虫可根据目标受众选择是否放行。
  2. Bytespider 注意：字节的Bytespider抓取频次通常较高，如果服务器负载压力大，可添加 Crawl-delay: 5（单位：秒）限制抓取间隔。
  3. 屏蔽无价值路径：统一屏蔽后台、接口、站内搜索结果页，避免AI爬虫抓取无效内容，浪费抓取配额。

二、各大AI/搜索站长平台提交入口清单

绝大多数AI大模型没有独立的“站长提交入口”，内容抓取主要依赖robots.txt放行和自然爬取；但对应的搜索引擎站长平台可以加速收录、提升信任度，间接提升AI引用概率。以下按优先级排序：

国内高优先级（必做）

| 平台名称 | 覆盖能力 | 官方入口 | 核心操作 |
| :--- | :--- | :--- | :--- |
| 百度搜索资源平台 | 百度搜索收录 + 文心一言AI引用数据源 | https://ziyuan.baidu.com/ | 你已提交站点，需补全：HTTPS认证、首选域设置、Sitemap提交、API主动推送配置 |
| 头条搜索站长平台 | 抖音/头条搜索收录 + 豆包大模型数据源 | https://zhanzhang.toutiao.com/ | 添加站点并验证所有权，提交Sitemap，申请官网认证（需备案） |
| 微信搜一搜开放平台 | 微信搜一搜收录 + 腾讯混元大模型数据源 | https://search.weixin.qq.com/ | 接入内容收录，提交站点资源，获取微信生态搜索流量 |
| 360搜索资源平台 | 360搜索收录补充 | https://zhanzhang.so.com/ | 提交站点与Sitemap，补充国内搜索引擎流量 |
| 搜狗搜索资源平台 | 搜狗搜索+微信搜一搜补充 | https://zhanzhang.sogou.com/ | 提交站点，适配搜狗搜索收录规则 |

国际补充（可选，后期做）

| 平台名称 | 覆盖能力 | 官方入口 |
| :--- | :--- | :--- |
| Google Search Console | Google搜索 + Gemini AI引用 | https://search.google.com/search-console |
| Bing Webmaster Tools | 必应搜索 + 微软Copilot引用 | https://www.bing.com/webmasters |

重要补充

  • 豆包、通义千问、Claude、ChatGPT等纯大模型产品，目前均无独立的站长提交入口，无需寻找第三方所谓“AI收录平台”，做好robots.txt放行+内容质量+对应搜索引擎站长平台提交即可。
  • 百度文心一言的内容数据源与百度搜索完全打通，做好百度SEO和搜索资源平台配置，就能同步提升文心一言的引用概率。

三、落地验证步骤

  1. 上传robots.txt后，访问 https://r.flycode100.com/robots.txt 确认内容正常显示。
  2. 在百度搜索资源平台的「robots.txt检测」工具中提交校验，确保规则无语法错误。
  3. 按优先级依次注册上述站长平台，完成站点验证和Sitemap提交。
  4. 后续可通过服务器访问日志，统计各AI爬虫的访问频次，判断抓取效果。