标签： robots

如何查看自己网站的robots.txt文件？求上级解决。 机器人放在服务器的根目录下，所以如果你想查看，只要在IE上输入http:// your website /robots.txt即可。如果想检查 … 继续阅读 如何查看网站的robots（如何查看网站的robots协议）

登录网站。因为这个网站的robots.txt文件有限制指令(限制搜索引擎抓取)，所以系统无法提供这个页面。我该怎么办？ 原因: 百度无法抓取网站，因为其robots.txt文件屏蔽了百度。 方法: 1 … 继续阅读 怎么修改robots（怎么修改robotstudio机器人路径）