
网站SEO最常用的 robots.txt使用教程
- 2010年6月4日
- 2,935 浏览数
- 网页优化
- 没有评论
首先,我来介绍一下什么是robots.txt:robots.txt是搜索引擎中访问网站的时候要查 看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是 否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有 被口令保护的页面。最后,robots.txt必须放置在一个站点的根目录下。
http://www.google.com/robots.txt
http://www.baidu.com/robots.txt
大家了解完robots.txt后,那么我们可以用robots.txt来做什么?
1、用robots.txt屏蔽相似度高的页面或没内容的页面。
我们知道,搜索引擎收录网页后,会对网页进行“审核”,而当两个网页的相似度很高时,那么搜索引擎就会删除掉其中一个,并且会降低一点你网站的得分。
假设以下这两个链接,内容其实差不多,那么第一个链接就应该屏蔽掉。
/XXX?123
/123.html
像第一个的链接这样的链接非常多,那么我们要怎么屏蔽呢?其实只要屏蔽/XXX?就可以屏蔽所有的链接了。
代码如下:
Disallow: /XXX?
同理,一些没有内容的页面我们也可以利用相同的办法将其屏蔽掉。
2、用robots.txt屏蔽多余的链接,一般保留静态的链接(既HTML、htm、shtml等)。
由于网站中经常会出现多个链接指向同一个页面的情况,而这样会让搜索引擎对网站的友好度降低。为了避免这一个情况,我们就可以通过 robots.txt把 非主要的链接去掉。
比如以下两个链接指向同样的页面:
/OOO?123
/123.html
那么我们就应该去掉第一个垃圾,代码如下:
Disallow: /OOO?123
文章页码: 1 2- robots.txt, SEO, 搜索引擎优化
相关文章
网友评论
分类目录
文章归档
- WordPress显示文章摘要插件limit-posts-automatically中文版 - 68,003 浏览数
- 暴强悍的windows7/Server 2008 R2激活小工具(7.22更新) - 59,384 浏览数
- windows7精美桌面天气小工具 win7桌面小工具下载 - 26,556 浏览数
- IE9正式版将于本月24日正式发布 - 24,211 浏览数
- 国人设计Mya2-ac三栏风格WordPress主题 - 18,230 浏览数
- 【准备篇】windows XP操作系统安装IIS的方法 解决IIS安装不成功问题 - 17,320 浏览数
- Windows7旗舰版 OEM 33IN1(x86+x64)终极收藏 - 16,490 浏览数
- Adobe CS5安装序列号与破解方法 附注册机下载 - 15,795 浏览数
- 【准备篇】IIS虚拟目录的配置与应用、站点的建立方法 - 15,311 浏览数
- 顶级分区软件Acronis Disk Director 11最新版官方下载(附注册码) - 13,590 浏览数
最热文章
- 上岸QQ的鱼 发表在《Adobe发布官方最新Photoshop CS6 Beta下载》
- kingsir 发表在《Adobe发布官方最新Photoshop CS6 Beta下载》
- 费率兵 发表在《【扩展篇】非常实用的Asp图片验证码》
- 上岸QQ的鱼 发表在《Adobe发布官方最新Photoshop CS6 Beta下载》
- K 发表在《Adobe发布官方最新Photoshop CS6 Beta下载》
- 上岸QQ的鱼 发表在《使用csshover.htc完美解决IE6不支持li伪类li:hover》
- 上岸QQ的鱼 发表在《入手微软无线蓝影便携鼠标4000》
- 兰州网站制作 发表在《使用csshover.htc完美解决IE6不支持li伪类li:hover》
- 兰州网站建设 发表在《入手微软无线蓝影便携鼠标4000》
- activated carbon 发表在《上岸QQ的鱼独创WebDancer主题即将发布下载》
近期评论
Copyright 2010 - 2012 版权所有 © 上岸QQ的鱼 赣ICP备09011951号 Designed by 上岸QQ的鱼
