沧州申梦网络有限公司

robots禁止后还能索引收录,是什么原因?

SEO优化中很多细节容易被人忽略,比方说robots文件。如果网站的robots协议文件禁止了搜索引擎蜘蛛,那么无论你怎么优化都不会被收录。

有时候不希望搜索引擎抓取某些内容可以写robots.txt文件放到根目录,按理蜘蛛会首先读取这个文件,按照robots协议抓取相应的内容。

但很多时候搜索引擎抓取收录了你 robots.txt 不允许抓取的内容,不是因为机器人不遵守,而是从抓取到索引到展现这个过程需要一段时间,当搜索引擎已经抓取了,你才更新,那么之前抓取的是不会那么快删掉的,删除周期并不规律,一般是算法更新后生效的情况多些。但是许多站长们发现,蜘蛛并不太遵守这个协议。

下面说下几个新手可能会需要的信息。

1、robots.txt 怎么写?

各大搜索引擎的站长平台(英文叫 webmasters )都有详细说明,也有生成工具。

2、怎样确定 robots.txt 有效?

站长平台都有抓取 robots.txt 的工具,也会有“抓取工具”来确认某个页面是不是可以正确抓取。

3、怎样通知搜索引擎 robots.txt 已更新?

和上面的一样,通过站长平台的抓取工具重新抓取(有的是“更新”)即可。

4、让搜索引擎抓取了不应该抓取的内容怎么办?

5、整站禁止抓取,如何操作更有效?

有的搜索引擎索引是不遵守 robots.txt 的,只有在展现的时候遵守,也就是说,就算你 robots.txt 写明了禁止抓取,你会发现还是有机器人来爬。

所以如果是大目录或者是整站禁止抓取,建议在服务器软件(如 nginx)的代码段中直接判断搜索引擎 UA 并返回错误代码。这样一方面可以减轻服务器压力,一方面可以真正禁止抓取。

沧州申梦网络公司专注企业网站建设、企业网站优化、企业网站推广、企业400电话办理、以及企业宣传视频展示等多维度网络推广服务!多年来,为沧州地区数百家客户提供优质的网站建设、网站优化、百度优化推广、400电话办理与申请业务,获得客户一直好评!
如果您的企业需要做网站或者需要办理一部400电话欢迎来电我公司详谈!服务至上,诚信为本!400-856-0317


以上关于robots禁止后还能索引收录,是什么原因?的信息来自沧州申梦网络公司小编整理发布,如果您对robots禁止后还能索引收录,是什么原因?需要进一步了解,欢迎来电咨询我们客服,我们将为您详细解答,期待与您竭诚合作!

郑重声明:
本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误
请第一时间联系我们修改或删除,如需转载请注明来源。
http://www.shenmengnet.com/News/jiqiao/697.html