robots文件怎么写及作用!

robots.txt 文件用于告诉搜索引擎不希望抓取我们网站上的哪些内容。robots文件对我们SEO网站优化的作用也是非常大。

robots文件的内容样式如下图所示:

robots文件

       robots.txt的写法:
robots.txt文件是一个文本文件,可以直接使用TXT文件创建和编辑它。robots.txt是一个协议,而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的,什么文件禁止查看。

当搜索蜘蛛访问我们站点时,它会首先检查该站点根目录下是否存在robots.txt,搜索引擎蜘蛛会根据robots文件中的内容来确定访问的范围,如果没有robots搜索引擎蜘蛛会访问所有url。

robots文件的一般写法如下:

User-agent: * 是一个通配符,代表允许所有搜索引擎蜘蛛爬行。

Disallow: /xxxx/ 的定义是禁止搜索引擎蜘蛛爬行xxxx目录下面的url。

Allow: / 的定义是允许搜索引擎蜘蛛爬行所有的url。

具体需要禁止搜索引擎蜘蛛爬行哪里url需要站长根据实际情况去判断。

robots.txt文件的作用

robots.txt文件对新站来说非常实用的好处就是能够提供网站的收录。

屏蔽一些不需要搜索引擎抓取的URL,减少搜索引擎抓取url的数量提高搜索引擎的抓取效率,搜索引擎蜘蛛到我们网站的停留时间是有限制的,如果搜索引擎蜘蛛花大量的时间来抓取我们网站不需要收录页面的url,那么搜索引擎用来抓取我们想要被收录页面的URL的时间就会减少,自然就会导致收录有问题。

总结:对于一个网站来说:robots文件是必须上传的,因为robots文件能够提供搜索引擎的工作效率和我们网站的收录,对我们站长和搜索引擎都是非常用处的。

  • robots文件怎么写及作用!已关闭评论
  • 930 次围观
    A+
发布日期:2016年08月06日  所属分类:安化SEO  怀化SEO
标签:robots文件