早就听说51.com robots了，今天本想去看看它的robots.txt文件的，结果：

看来51.com真的把robots.txt删除了，那搜索引擎就会按默认的方式抓取51，刚查了51的收录：

百度现在只收录首页，相信过一阵收录就会有变化。

原载： 上海SEO优化研究中心 | 作者: 精灵SEO
原文链接:http://www.lijinglin.com/51-robots.html
版权所有。转载时必须以链接形式注明作者和原始出处及本声明。

Tags: robots, 搜索引擎

阅读过本文的朋友还读过：

• seo下的内部链接优化技巧
• seo下的空间选择技巧
• seo下的域名选择技巧
• 应对蚁群算法下的seo策略
• 精灵解读搜索引擎算法系列–蚁群算法（五）

» You can leave a comment, or trackback from your own site.