蜘蛛网间

时下做独立博客的人越来越多了，而很大一部分人都在Wordpress，那怎样写robots.txt对搜索引擎是友好且对博客是一种保护呢？下面就给大家介绍几种常规写法：

最简单的开放写法

不作任何限制，Wordpress站内链接结构比较合理，作为一般博客，完全开放就可以了，代码：

User-agent: *
Disallow:

允许所有蜘蛛访问，允许访问所有内容。Wordpress只要模板中链接设计合理，没有需要限制的特殊内容，推荐使用这种写法。

[......]

继续阅读