标签归档:robots.txt

为了让网站达到最优的搜索引擎效果,节约搜索引擎资源,某种程度上还能降低网站流量,相信大家一定会对本文感兴趣。为什么写这篇文章呢?其实看前一篇文章就看得出来,本站因为消耗大量的流量资源和CPU资源,不得已对本站进行了升级维护,除了禁用了wp-cron.php,本站还设置了专门针对本站的robots.t…

继续阅读

首先,我来介绍一下什么是robots.txt:robots.txt是搜索引擎中访问网站的时候要查 看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是 否存在robots.txt,如果存在,搜索机器人就会按照…

继续阅读

2/2