技博详解如何正确使用robots文件

来源:网页教学基地 时间:2017-03-09 11:38:34  浏览次数:0
技博详解如何正确使用robots文件

首先随技博了解一下robots正确的打开方式:

  • 1、robots.txt可以告诉百度您网站的哪些页面可以被抓取,哪些页面不可以被抓取。
  • 2、您可以通过Robots工具来创建、校验、更新您的robots.txt文件,或查看您网站robots.txt文件在百度生效的情况。
  • 3、Robots工具暂不支持https站点。
  • 4、Robots工具目前支持48k的文件内容检测,请保证您的robots.txt文件不要过大,目录最长不超过250个字符。

什么是robots文件

robots是站点与spider沟通的重要渠道,站点通过robots文件声明该网站中不想被
        使用"*"and"$":Baiduspider支持使用通配符"*"和"$"来模糊匹配url。
        "*" 匹配0或多个任意字符
         "$" 匹配行结束符。

最后需要说明的是:百度会严格遵守robots的相关协议,请注意区分您不想被抓取或收录的目录的大小写,百度会对robots中所写的文件和您不想被抓取和收录的目录做精确匹配,否则robots协议无法生效。

 

robots.txt文件用法举例

 

最近相关
推荐文章