(生成的 robots.txt 内容将显示在这里)
robots.txt 是放在网站根目录的爬虫协议文件,告知搜索引擎爬虫哪些路径可抓取、哪些禁止。常见场景:屏蔽后台、临时下线某些目录、声明 Sitemap 位置。注意 robots.txt 只是"君子协定",不影响任何安全权限,敏感数据请务必通过访问控制保护。生成后请将文件命名为 robots.txt 上传到站点根目录。