SEO-WordPress网站robots.txt的正确写法

在网站的 SEO 中有一个重要的文件，那就是robots.txt。robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器，比如Windows系统自带的Notepad，就可以创建和编辑它。robots.txt是一个协议，而不是一个命令。该文件是用来正确引导搜索引擎抓取和收录页面的，用来告诉搜索引擎哪些页面可以收录而哪些不可以，所以正确编写robots.txt文件显得尤为重要。

WordPress博客的网站中默认是有自动生成robots.txt文件的，但是文件很简单，只有三行代码：

User-agent: *Disallow: /wp-admin/Disallow: /wp-includes/

很显然WordPress自动生成的robots.txt文件有点敷衍，明显是不是为了给网站做搜索引擎优化的，所以为WordPress网站手动编写robots.txt文件应该成为建站的重要工作。

编写robots.txt必须必须必须要谨慎，否则一不小心输入错误，就会导致整个网站收录情况受到影响，得不偿失！！！

robots.txt的基本语法

要编写就要先了解，robots.txt也是有自己的规则的。

文件头部规则：

robots.txt文件的开头为 User-agent: 开头，用来指定搜索引擎蜘蛛，如果要针对百度搜索蜘蛛，可以输入
User-agent: Baiduspider

如果要对全体搜索引擎起作用，则输入
User-agent: *

Disallow规则：

Disallow: /abc 表示禁止访问收录abc.php、abc.html和abc文件夹下的所有文件。
Disallow: /abc/ 表示仅禁止访问abc文件夹下的所有文件，但是不限制abc.php、abc.html文件。

Allow规则：

Allow规则同Disallow，表示允许

*和&的使用规则：

*表示通配符

Disallow: /cgi-bin/*.htm
表示禁止收录cgi-bin文件夹下的所有htm后缀的文件。

Disallow: /*?replytocom=
表示禁止收录含有“replytocom=”字符的地址。

$用于通指禁止访问某后缀的文件

Disallow: /*.css$
表示禁止收录以css后缀的文件。

Sitemap规则：

Sitemap用来告诉搜索引擎网站地图的位置
Sitemap: https://www.baidu.com/sitemap.xml

针对WordPress网站的robots.txt的编写

WordPress的结构简单易懂，对WordPress的robots.txt编写还是比较简单的。

为了避免收录WordPress系统文件：

Disallow: /wp-admin/Disallow: /wp-includes/ （这两条是WordPress自动生成的，一定要保留）Disallow: /wp-content/plugins （禁止收录插件目录）Disallow: /wp-content/themes  （禁止收录模板目录）Disallow: /wp-content/uploads （看个人喜好，如果希望网站的图片被收录，则可以去掉这条）

为了避免收录重复的内容：

Disallow: /feedDisallow: /articles/*/feed  （这两条用来禁止收录内容重复的feed源）Disallow: /tag/  （用于禁止收录tag标签页）Disallow: /category/  （用于禁止收录文章目录，因为此页面都是无意义的文章列表）Disallow: /page/  （禁止收录翻页的页面）Disallow: /*?replytocom= （禁止收录评论页面）Disallow: /trackback （禁止收录trackback，如果关闭了此功能可以删掉）Disallow: /*?* （禁止访问带？的页面，如果使用默认文章固定链接的千万不要添加这一句）

为了正确引导搜索引擎找到网址地图（如果有的话）

Sitemap: https://m1314.cn/sitemap.xml

总结全部的robots.txt全文如下：

User-agent: *Disallow: /wp-admin/Disallow: /wp-includes/Disallow: /wp-content/pluginsDisallow: /wp-content/themesSitemap: https://m1314.cn/sitemap.xml

将代码编写在记事本上，然后保存为robots.txt，直接上传到网站的根目录就可以生效了，千万不要搞错放在了主题文件夹里面，检查方式可以直接在地址栏上输入 域名/robots.txt ，如果能正确访问就可以。
建议上传之后，最好用百度站长平台中的 网站分析→robots 检查一下语法是否正确，确保万无一失。