Robots.txt 在线生成

按向导填写规则,一键生成标准 robots.txt 文件;上传到网站根目录即可生效,随后可用 Robots 检测 校验。

网站地址
User-agent
Disallow每行一条,禁止抓取的路径
Allow每行一条,允许抓取的路径(优先级高于 Disallow)
Crawl-delay 秒,0 表示不限制
Sitemap留空则自动使用「网站地址 + /sitemap.xml」