最新公告
  • 欢迎您光临都潮汇,本站秉承服务宗旨 履行“站长”责任,销售只是起点 服务永无止境!立即加入我们
  • 超级蜘蛛池之robots的优化

    一、robots概述

    ①robots.txt纯文本文件,网站管理员可以在这里声明该网站不想robots访问的部分,所以robots优化直接影响着搜索引擎对网站的收录情况;

    ②robots.txt必须放置在一个站点的根目录下,并且文件名必须全部小写:www.cjzzc.com/robots.txt;

    ③就算你的网站全部内容都可以被搜索引擎收录,那也要写个空的robots.txt;因为有的服务器的设置会使没有robots.txt的时候返回200状态码和相应的错误信息;

    二、robots的写法

    # robots.txt file from http://www.cjzzc.com/

    # All robots will spider the domain

    User-agent:*

    Disallow:

    1、允许搜索引擎访问所有部分(一般可不写)

    User-agent:*

    Disallow:

    2、禁止搜索引擎访问任何部分

    User-agent:*

    Disallow:/

    3、禁止搜索引擎访问某几个部分

    User-agent:*

    Disallow:http://www.cjzzc.com/404.html

    4、允许某个搜索引擎访问

    User-agent:Baiduspiter

    Disallow:/

    5、禁止所有搜索引擎蜘蛛访问某几个目录下的内容及文件

    User-agent:*

    Disallow:/sss/

    Disallow:/aaa/

    8、禁止除了百度蜘蛛以外的所有搜索引擎抓取任何内容:

    User-agent:Baiduspiter

    Disallow:/

    User-agent:*

    Disallow:/

    9、$:通配符,匹配url结尾的字符。禁止百度蜘蛛抓取所有.jpg文件

    User-agent:Baiduspiter

    Disallow:.jpg$

    10、禁止和允许搜索引擎访问某个目录,如:禁止访问admin目录;允许访问images目录。

    User-agent:*

    Disallow:/admin/

    Allow:/images/

    11、禁止和允许搜索引擎访问某个后缀,如:禁止访问admin目录下所有php文件;允许访问asp文件。

    User-agent:*

    Disallow:/admin/*.php$

    Allow:/admin/*.asp$

    12、禁止索引网站中所有的动态页面(这里限制的是有“?”的域名,如:index.php?id=8)。

    User-agent:*

    Disallow:/*?*

    本网站所有源码和软件均为作者提供和网友推荐收集整理而来!
    本站提供的所有模块、软件等资源,均不提供任何技术服务,请悉知!
    如您需要商用,请支持正版,本站提供的程序仅供学习和研究使用!
    资源每天实时更新,如遇压缩包解压密码,一律为:www.dch888.cn
    如有侵犯你版权的,请来信(邮箱:i@dch888.cn)指出,本站将立即改正。
    都潮汇 » 超级蜘蛛池之robots的优化

    常见问题FAQ

    免费下载或者VIP会员专享资源能否直接商用?
    本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
    提示下载完但解压或打开不了?
    最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘软件或迅雷下载。若排除这种情况,可在对应资源底部留言,或 联络我们.。
    找不到素材资源介绍文章里的示例图片?
    对于PPT,KEY,Mockups,APP,网页模版等类型的素材,文章内用于介绍的图片通常并不包含在对应可供下载素材包内。这些相关商业图片需另外购买,且本站不负责(也没有办法)找到出处。 同样地一些字体文件也是这种情况,但部分素材会在素材包内有一份字体下载链接清单。
    都潮汇
    互联网精品资源网站源码分享平台
    升级SVIP尊享更多特权立即升级