针对WordPress博客seo
robot.txt文件，是用来唆使搜索引擎机器人如何在您网站抓取内容并在检索成果中索引的主要文件。网站大多有文件和文件夹和搜索引擎优化（如图片目录或管理目录）没有关系的 ，因此树立一个robots.txt文件其实可以改善您的网站索引职能。
为WordPress树立一个有效的robots文件，将有助于进步你博客在搜索引擎中的排名，获得较高价钱的付费广告，并增添你的博客流量。
这里是我的robots.txt文件，它可以进一步维护的WordPress中内容反复的问题。
User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/
Disallow: /comments/feed/
Disallow: /page/
Disallow: /comments/
树立了robots.txt文件后，只需上传到你的根目录就可以了！