网站信息
指定网站地图文件的URL，帮助搜索引擎更好地抓取
设置爬虫访问间隔，避免服务器压力过大
爬虫规则 0
点击"添加规则"开始配置爬虫访问规则
使用说明：粘贴您的 robots.txt 内容，点击验证按钮检查语法错误
使用说明：测试特定URL是否被当前规则允许或禁止访问
所有爬虫
Googlebot
Baiduspider
Bingbot
360Spider
Sogou
快速开始：选择一个模板作为起点，然后根据需要修改
允许所有
允许所有搜索引擎访问整个网站
禁止所有
禁止所有搜索引擎访问整个网站
WordPress
WordPress网站推荐配置
电商网站
电商网站推荐配置
博客网站
博客网站推荐配置
自定义
从空白开始自定义规则