核心原理先讲清楚
豆包、文心一言、通义千问、ChatGPT，没有统一“收录入口”，分两条路线：
- 联网检索引用（绝大多数情况）：大模型本身不存你的全文，它依赖配套搜索引擎（豆包→头条搜索；文心→百度搜索；千问→神马搜索；ChatGPT搜索→OAI-SearchBot），先被搜索引擎收录，AI回答时才可能检索、引用你的页面。
- 模型预训练数据：GPTBot、Bytespider这类爬虫抓取网页，用于模型训练。这个是被动抓取，没有提交入口，只能放行爬虫，而且抓取不代表一定会被放进训练集。
一句话：想让AI回答时引用你的网站，优先搞定搜索引擎收录；想开放内容给模型训练，配置robots放行对应UA。
一、基础前置条件（必做）
- 国内服务器域名完成ICP备案，HTTPS，SSL正常；海外站不用备案。
- 页面公开可访问，不需要登录、无验证码、无JS强渲染锁内容（大量SPA、需要交互加载的页面AI爬虫很难读）。
- 服务器/CDN/WAF不要拦截爬虫（Cloudflare、安全狗经常误封Bytespider、Baiduspider、GPTBot）。
- 页面无
noindex、nofollow标签（<meta name="robots" content="noindex">会禁止收录）。
二、robots.txt 放行配置（放在网站根目录 https://你的域名/robots.txt）
# 通用搜索爬虫
User-agent: Baiduspider
Allow: /
User-agent: Bytespider
Allow: /
User-agent: YisouSpider
Allow: /
# ChatGPT
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
# Claude
User-agent: ClaudeBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
# Perplexity
User-agent: PerplexityBot
Allow: /
# 站点地图
Sitemap: https://你的域名/sitemap.xml- GPTBot：OpenAI训练爬虫；OAI-SearchBot：ChatGPT联网搜索爬虫，二者是分开的，可以单独控制放行/屏蔽
- Bytespider：字节（豆包/头条搜索）爬虫
- Baiduspider：百度（文心一言依赖百度搜索）
- YisouSpider：阿里神马（通义千问依赖神马搜索）
如果你只希望AI联网搜索引用、不允许拿去训练模型：把GPTBot、ClaudeBot改成
Disallow: /，保留OAI-SearchBot、Claude-SearchBot放行。
三、主动提交站点到对应站长平台（加速收录，最有效）
国内三个AI，底层数据源对应搜索站长平台，验证域名、提交sitemap、URL：
- 豆包（字节）→头条搜索资源平台：https://zhanzhang.toutiao.com/，域名验证，提交sitemap，主动推送url
- 文心一言（百度）→百度搜索资源平台：https://ziyuan.baidu.com/linksubmit/index，URL提交、sitemap提交
- 通义千问（阿里）→神马搜索站长平台：阿里搜索资源平台提交
ChatGPT搜索：没有站长提交入口，只能放行OAI-SearchBot，同时被Bing等搜索引擎收录，提升被检索概率。
四、GEO优化（让AI更容易读懂、优先引用你的内容）
GEO = Generative Engine Optimization，面向大模型的内容优化，比普通SEO更重要：
- sitemap.xml：规范站点地图，定期更新，放在robots里声明；
- llms.txt（推荐）：根目录放
/llms.txt，专门给大模型爬虫看的摘要，写清楚网站简介、核心页面、FAQ、产品信息，是现在行业标准做法；
示例llms.txt：```
网站名称
一句话简介
核心页面
```
- Schema.org结构化数据：FAQPage、Article、Product、Organization，给AI明确实体信息，尤其是FAQ，AI最喜欢直接提取问答对；
- 内容：原创、事实准确、问答式内容优先；标题、正文清晰，少大量JS渲染、图片文字、弹窗遮挡正文；
- 内链、外链：权威站点外链，提升可信度。
五、区分两个容易混淆的目标（非常关键）
✅ 目标A：用户问问题时，豆包/文心/千问/ChatGPT联网搜索，引用你的网站、带上来源链接
→ 路径：站长平台提交 → 搜索引擎收录 → robots放行搜索爬虫 → GEO优化；可控、见效相对快。
❌ 目标B：你的内容被拿去训练大模型权重
→ 路径：爬虫被动抓取（GPTBot、Bytespider等），robots只是一个信号，平台自主决定是否纳入训练集；没有任何渠道可以申请“把我的内容加入训练集”，平台不会开放这个提交通道。
六、常见坑
- 放行爬虫≠马上收录：搜索引擎索引周期几天到几周；大模型检索召回还有概率问题；
- 只放行GPTBot，不放OAI-SearchBot：ChatGPT联网搜索照样搜不到你；
- CDN/WAF自动拦截爬虫：看服务器日志，确认爬虫UA可以正常200访问；
- 页面用
noindex：搜索引擎直接不收录，AI自然找不到； - 不要以为llms.txt是强制标准：目前是行业推荐，不是所有大模型爬虫都会读取，但做了收益很高。
七、补充合规提醒
网站内容版权属于你，开放AI抓取不等于放弃著作权；你可以在页面声明使用条款，也可以随时修改robots.txt关闭抓取权限。
如果你想要，我可以直接给你一份可复制的robots.txt + llms.txt模板，以及一个适合Obsidian保存的GEO收录自查清单。