robots.txt 写法详解与常见误屏蔽案例

该文章由AI生成，仅为SEO优化测试，相关内容不保证准确！！！

引言

robots.txt 是放网站根目录、告诉爬虫“哪些能抓哪些不能抓”的文件。它的语法极其简单，但一个错误的 Disallow 就能让整站从搜索结果消失。本文详解语法与经典误屏蔽案例。

一、基本语法

文件必须放在域名根目录（https://y.anxiny.cn/robots.txt），语法由两组指令构成：User-agent: 指定适用的爬虫（* 表示所有），Disallow: 禁止抓取的路径前缀，Allow: 在 Disallow 范围内开例外。示例：

User-agent: *
Disallow: /admin/
Disallow: /*?sid=
Allow: /admin/public/
Sitemap: https://y.anxiny.cn/sitemap.xml

规则按“最长匹配优先”：更具体的路径优先于笼统路径。空 Disallow（Disallow:）表示允许全部。Sitemap 指令声明站点地图位置，建议始终写上。

二、经典误屏蔽案例

① 测试期屏蔽忘删：开发时写了 Disallow: / 防止收录，上线忘删——整站从搜索消失，且是“慢性消失”（已收录页面逐步被移除）。这是最常见也最致命的错误。② 屏蔽了 CSS/JS：为了让爬虫“只看内容”，屏蔽了 /static/ 目录——现代搜索引擎需要渲染页面，CSS/JS 被屏蔽会导致页面渲染异常、判定为低质量，间接影响排名。Google 明确建议不要屏蔽渲染所需的资源。③ 用 robots 屏蔽敏感页面：robots.txt 是公开文件，任何人可访问——把它当“保密”手段是错的。真正的敏感页面要用登录鉴权或 noindex（且 noindex 的页面不能同时被 robots 屏蔽，否则爬虫看不到 noindex 指令）。④ 路径写法错误：Disallow 是前缀匹配，Disallow: /admin 会同时屏蔽 /admin-guide；要精确屏蔽目录写 Disallow: /admin/。

三、noindex 与 robots 的关系

两个工具用途不同：robots.txt 控制“能不能来抓”，noindex（meta 或 X-Robots-Tag 头）控制“抓了要不要收录”。想让页面从搜索消失：先确保 robots.txt 没屏蔽它，再用 noindex——如果 robots 屏蔽了，爬虫根本看不到 noindex 指令，页面可能仍以旧快照存在于索引中。这个顺序搞反，是“屏蔽了却还在搜索结果里”的常见原因。

四、自查方法

① 直接访问 https://y.anxiny.cn/robots.txt 确认内容；② 用站长平台的 robots 测试工具（百度资源平台、GSC）模拟爬虫验证具体 URL 是否被屏蔽；③ 上线前检查清单：新环境的 robots.txt 是否从测试版更新、核心页面（首页/分类/内容页）是否可抓、CSS/JS 是否放行；④ 定期（每月）复核一次，配合日志里的爬虫行为验证与预期一致。

总结

robots.txt 的两个铁律：上线前必须核对（测试期的 Disallow 是 SEO 事故的第一名），不要屏蔽渲染资源（CSS/JS 必须可抓）。它是公开文件，敏感内容靠鉴权与 noindex，不靠 robots。