Welcome to沈阳峰翔科技有限公司!

15840560486

联系我们

PRPULAR PUSH

ATTEN:
李经理
phone:
15840560486
QQ:
1092031760
ADD:
沈阳市铁西区爱工北街11-4

六安seo优化

author:沈阳峰翔科技有限公司

【Font size: big medium smail

time:2019-11-09 11:05:40

有时,站长可能希望蜘蛛只抓取某些特定部分,而另一些内容则不希望被搜索引擎收录,这样做有以下几方面的原因O网站可能包含一些隐私或敏感信息,这些信息不宜暴露在搜索引擎上。网站可能包含一些需要权限才能查看的信息◎蜘蛛的抓取会增加服务器的负担此时可以通过以下两种方式来限制蜘蛛对页面的抓取1)在链接上加入rel= nofollow标签,则搜索蜘蛛会跳过此页面。这种方式简单,但不适用于有大量页面需要限制抓取的情况(2)蜘蛛进入一个网站,一般会访问一个特殊的文本文件Robots. txt.。这个文件一般放在网站服务器的根目录下,网站管理员可以通过 Robots txt来定义哪些目录蜘蛛不能访问,或者哪些目录对于某些特定的网络蜘蛛不能访问。

例如有些网站的可执行文件目录和临时文件目录不希望被搜索引擎搜索到,那么网站管理员就可以把这些目录定义为拒绝访问目录Robots t语法很简单,主要有两个字段— User-agent和Disallow③ User-agent定义了允许抓取的搜索引擎蜘蛛。每个蜘蛛都有自己的名字,在抓取网页时会发送个请求,这个请求中就有一个字。