先把结论摆出来：想要控制 AI 怎么用你的内容，有四层不同的开关，管的是四件不同的事。把它们混为一谈，是外贸站在这个话题上最常见的错误。
| 控制手段 | 管什么 | 不管什么 |
|—|—|—|
| `noindex` | 从 Google 搜索中完全移除 | 只影响收录，不针对 AI |
| `robots.txt` | 是否允许抓取 | 挡住的页面读不到 noindex，无法表达「不要收录」 |
| Search Console 的 Search generative AI 控制 | 内容是否出现在 AI 概览、AI 模式、Discover 的生成式 AI 功能 | 不影响常规搜索排名，不影响 AI 训练 |
| `Google-Extended` | 内容是否可用于模型训练与接地 | 不影响搜索排名，也不影响 AI 功能里的可见性 |
Google-Extended 就是这四层里的最后一层。它是写在 robots.txt 里的一个控制令牌（不是爬虫），用来表明你是否允许内容被用于训练生成式模型和接地用途。
很多人以为禁掉它就等于「退出 AI」，实际完全不是——它管的是训练那一层，跟你能不能在 AI 概览里被引用、能不能在搜索里被找到，是两回事。
四层各自的作用边界
第一层：noindex——完全移除
这是最彻底的一层。加了 noindex 的页面不会出现在 Google 搜索里，自然也不会出现在 AI 概览或 AI 模式里。
关键点：要让它生效，必须允许抓取。如果页面同时被 robots.txt 挡住，Google 根本读不到 noindex 标记，不知道你的意图，页面会一直停在「已抓取但未索引」这类状态。
所以正确做法是：用 noindex，同时允许抓取。不要用 robots.txt 去「屏蔽不想收录的页面」，那是很多人踩的坑。
第二层：robots.txt——是否允许抓取
robots.txt 管的是「Googlebot 能不能来读这个页面」。它是最基础的一层，也是最容易被误用的一层。
两个常见误用：
- 用它来排除页面（前面说过，应该用 noindex）
- 用它来「禁止 AI」——robots.txt 里的用户代理规则确实能挡住具体的爬虫，但挡住的是抓取行为，不等于禁止内容被用于训练，也不等于从 AI 功能里消失。已经被抓走的内容，不因为你后来改了 robots.txt 就回溯消失
第三层：Search generative AI 控制——AI 功能里的可见性
这一层是新的，很多人还不知道。Search Console 的设置里有一项 Search generative AI（正在逐步推出，不是所有资源都能看到），提供三个状态：
- Include（所有属性的默认值）——内容可以出现在这些 AI 功能中，包括作为链接展示和用于接地 AI 回答，站点能获得来自这些功能的展示和流量
- Exclude——内容不出现在这些功能中，不被链接，也不用于接地 AI 回答，同时失去来自它们的展示和流量
- Inherit from parent——继承父属性的设置（有父属性时这是默认）
覆盖的范围是 AI 概览、AI 模式，以及 Google Discover 里的生成式 AI 功能，官方说明这个列表会随时间更新。
它的边界非常重要，官方写得很清楚：
- 不用作排名或收录信号——排除后不会影响你在常规蓝色链接结果里的排名和收录
- 不影响其他服务的参与——Merchant Center、Google Ads 不受影响
- 内容仍可能用于支持 Google 搜索整体——例如帮助系统理解用户查询的语言和网页上的语言
- 不影响 AI 训练——要限制训练，官方指向 Google-Extended
- 要完全从搜索中消失，用 noindex
生效需要时间：改动后通常几天，控制生效后内容一般在一两天内被排除，部分内容因缓存和传播可能更久。
第四层：Google-Extended——模型训练与接地
Google-Extended 是 robots.txt 里的一个令牌，用来表明：是否允许抓取的内容被用于训练生成回答的模型。
它的官方定位是「限制用于生成 Search 生成式 AI 功能回答的模型的训练」。也就是说，它管的是训练环节，是四个环节里最靠后的一个——内容要先被抓走、被处理，才谈得上用不用它训练。
这就是那个核心误解的出处：很多站点在 robots.txt 里加了 `User-agent: Google-Extended / Disallow: /`，以为这样内容就不会进 AI 了。实际上，你的页面照样能被抓取、照样出现在搜索结果里、照样可能被 AI 概览引用——你只是说了「别拿去训练模型」。
一个真实的决策场景
假设一家做食品机械的外贸企业，老板的诉求是「不希望我们的产品资料被 AI 拿去用」。
把这个诉求拆开，对应到四层：
- 不希望页面出现在 Google 搜索里→ noindex（代价：完全失去搜索流量）
- 不希望 Googlebot 来抓→ robots.txt（代价：页面无法被收录，也会被 AI 功能排除）
- 不希望出现在 AI 概览和 AI 模式里→ Search Console 的 Search generative AI 控制（代价：失去来自这两个界面的展示和流量，但常规搜索排名不变）
- 不希望被用于训练模型→ Google-Extended（代价：基本为零，不影响任何可见性）
多数企业真正想要的其实是第三层或第四层，但很多人在做的是第二层——一刀切挡抓取，结果把整个搜索渠道都关掉了。这是最贵的那种误解。
判断建议
给三个可以直接用的判断：
一、多数外贸企业不该排除 AI 功能。 排除等于主动关掉一条曝光入口，而常规搜索排名不会因此变好。如果你的目标是获客，留在里面通常更划算。
二、想限制模型训练，成本很低。 加 Google-Extended 基本不影响任何可见性。如果老板在意的是「内容被用于训练」，这一层直接加，没什么可犹豫的。
三、不要为了「防 AI」去挡抓取。 挡抓取的代价是整个搜索渠道，收益只是「AI 抓不到」。用错了工具，代价远大于收益。
需要说明：这些判断基于各层控制的官方说明，不是效果承诺。具体到某家企业该不该排除，要看它对搜索流量的依赖程度。
三个常见错误
把 Google-Extended 当成「AI 总开关」。 它只管训练那一层。
用 robots.txt 排除不想收录的页面。 应该用 noindex 且允许抓取。
在子域或子目录属性上改了设置却没注意继承。 Search generative AI 控制默认从父属性继承，父级一改，所有子属性跟着变——在多属性结构下要特别留意。
探索者SEO顾问团队在审计外贸站的 AI 相关配置时，第一件事是看 robots.txt 里到底写了什么——绝大多数「我们做了 AI 屏蔽」的站点，实际做的是挡掉了整个抓取，而不是他们以为的那件事。
如果你不确定自己站上现在的状态，可以把 robots.txt 的内容发过来，让项目顾问帮你看一眼哪一层被误改了，电话 15617834052，邮箱 931519643@qq.com。AI 功能退出的完整决策见Search Console 的 AI 功能退出开关该不该按，爬虫层面的分工看ChatGPT为什么会引用某个网站。
常见问题
Google-Extended 是爬虫吗？
不是。它是写在 robots.txt 里的一个控制令牌，用来表明是否允许抓取的内容被用于训练生成回答的模型。它不抓取任何东西，也不是一个用户代理。
禁了 Google-Extended，我的页面还会出现在 AI 概览里吗？
会。Google-Extended 只管模型训练那一层，不影响页面在搜索结果和 AI 功能里的可见性。要阻止内容出现在 AI 概览和 AI 模式里，需要用 Search Console 里的 Search generative AI 控制。
想让页面完全不出现在 Google 搜索里，该用什么？
用 noindex，并且允许抓取。不要用 robots.txt 禁止抓取——被 robots.txt 挡住的页面，Google 读不到页面上的 noindex 标记，无法得知你的意图。
Search Console 的 AI 控制排除站点后，会影响常规搜索排名吗？
不会。官方说明明确写到，这个控制不用作影响搜索其他部分的排名或收录信号。排除只会让你失去来自 AI 概览、AI 模式和 Discover 生成式 AI 功能的展示与流量。
AI 功能控制改了之后多久生效？
官方说明是改动后通常几天生效，控制生效后内容一般在一两天内被排除；部分内容因缓存和在各系统间的传播，可能需要更长时间。
我这层没看到 AI 控制选项，是配置有问题吗？
不是。Search generative AI 控制正在逐步推出，尚未对所有资源开放。看不到的时候不需要做任何配置，也不用尝试用 noindex 或 nosnippet 去模拟——那是不同的控制，会影响常规搜索可见性。