在网站的 SEO 中有一个重要的文件,那就是robots.txt。robots.txt文件是一个文本文件,使用任何一个常见的文本编辑器,比如Windows系统自带的Notepad,就可以创建和编辑它。robots.txt是一个协议,而不是一个命令。该文件是用来正确引导搜索引擎抓取和收录页面的,用来告诉搜索引擎哪些页面可以收录而哪些不可以,所以正确编写robots.txt文件显得尤为重要。
SEO-WordPress网站robots.txt的正确写法
发布于 2020-04-30 5,998 次阅读
WordPress博客的网站中默认是有自动生成robots.txt文件的,但是文件很简单,只有三行代码:
User-agent: *Disallow: /wp-admin/Disallow: /wp-includes/
很显然WordPress自动生成的robots.txt文件有点敷衍,明显是不是为了给网站做搜索引擎优化的,所以为WordPress网站手动编写robots.txt文件应该成为建站的重要工作。
编写robots.txt必须必须必须要谨慎,否则一不小心输入错误,就会导致整个网站收录情况受到影响,得不偿失!!!
robots.txt的基本语法
要编写就要先了解,robots.txt也是有自己的规则的。
文件头部规则:
robots.txt文件的开头为 User-agent: 开头,用来指定搜索引擎蜘蛛,如果要针对百度搜索蜘蛛,可以输入User-agent: Baiduspider
如果要对全体搜索引擎起作用,则输入User-agent: *
Disallow规则:
Disallow: /abc
表示禁止访问收录abc.php、abc.html和abc文件夹下的所有文件。Disallow: /abc/
表示仅禁止访问abc文件夹下的所有文件,但是不限制abc.php、abc.html文件。
Allow规则:
Allow规则同Disallow,表示允许
*
和&
的使用规则:
*
表示通配符
Disallow: /cgi-bin/*.htm
表示禁止收录cgi-bin文件夹下的所有htm后缀的文件。
Disallow: /*?replytocom=
表示禁止收录含有“replytocom=”字符的地址。
$
用于通指禁止访问某后缀的文件
Disallow: /*.css$
表示禁止收录以css后缀的文件。
Sitemap规则:
Sitemap用来告诉搜索引擎网站地图的位置Sitemap: https://www.baidu.com/sitemap.xml
针对WordPress网站的robots.txt的编写
WordPress的结构简单易懂,对WordPress的robots.txt编写还是比较简单的。
为了避免收录WordPress系统文件:
Disallow: /wp-admin/Disallow: /wp-includes/ (这两条是WordPress自动生成的,一定要保留)Disallow: /wp-content/plugins (禁止收录插件目录)Disallow: /wp-content/themes (禁止收录模板目录)Disallow: /wp-content/uploads (看个人喜好,如果希望网站的图片被收录,则可以去掉这条)
为了避免收录重复的内容:
Disallow: /feedDisallow: /articles/*/feed (这两条用来禁止收录内容重复的feed源)Disallow: /tag/ (用于禁止收录tag标签页)Disallow: /category/ (用于禁止收录文章目录,因为此页面都是无意义的文章列表)Disallow: /page/ (禁止收录翻页的页面)Disallow: /*?replytocom= (禁止收录评论页面)Disallow: /trackback (禁止收录trackback,如果关闭了此功能可以删掉)Disallow: /*?* (禁止访问带?的页面,如果使用默认文章固定链接的千万不要添加这一句)
为了正确引导搜索引擎找到网址地图(如果有的话)
Sitemap: https://m1314.cn/sitemap.xml
总结全部的robots.txt全文如下:
User-agent: *Disallow: /wp-admin/Disallow: /wp-includes/Disallow: /wp-content/pluginsDisallow: /wp-content/themesSitemap: https://m1314.cn/sitemap.xml
将代码编写在记事本上,然后保存为robots.txt
,直接上传到网站的根目录就可以生效了,千万不要搞错放在了主题文件夹里面,检查方式可以直接在地址栏上输入 域名/robots.txt
,如果能正确访问就可以。
建议上传之后,最好用百度站长平台中的 网站分析→robots
检查一下语法是否正确,确保万无一失。
Comments | 6 条评论
正确的难道不是
Disallow: /*
吗(手动滑稽)
@_Wr_ 就是呀
Alacakaranlik Safak Vakti izle, Alacakaranlik Safak Vakti full izle, Alacakaranlik Safak Vakti t�rk�e dublaj izle, Alacakaranlik Safak Vakti hd izle, The Twilight Saga: Breaking Dawn – Part 1 izle, Sonunda iki asik bela ve edward evlenmek’dedir. Edward ile Jacop arasinda bir se�im bir se�im yapmak zorunda kalan bela tercihini tutkuyla asik oldugu edward’dan yana kullanmaktadir. Film Bela ve Edward’in �evresinde d�nerken esrarengiz olaylar olur ikili tatildeyken �ocuklarinin olacaginin farkina varir bu olay akillara sigmayacak bir sey vampir adam ve insan kani tasiyan kisin �ocuklari olmasi bu konuyu aile ile konusmak isteyen ikili bakalim ne diyecekler nasil bir durum ortaya �ikacaktir. Tabby Pancho Shanks
Alacakaranlik Safak Vakti izle, Alacakaranlik Safak Vakti full izle, Alacakaranlik Safak Vakti t�rk�e dublaj izle, Alacakaranlik Safak Vakti hd izle, The Twilight Saga: Breaking Dawn – Part 1 izle, Sonunda iki asik bela ve edward evlenmek’dedir. Edward ile Jacop arasinda bir se�im bir se�im yapmak zorunda kalan bela tercihini tutkuyla asik oldugu edward’dan yana kullanmaktadir. Film Bela ve Edward’in �evresinde d�nerken esrarengiz olaylar olur ikili tatildeyken �ocuklarinin olacaginin farkina varir bu olay akillara sigmayacak bir sey vampir adam ve insan kani tasiyan kisin �ocuklari olmasi bu konuyu aile ile konusmak isteyen ikili bakalim ne diyecekler nasil bir durum ortaya �ikacaktir. Mirella Randy Demmer
tadalafil pills 20mg: https://tadalafilonline20.com/ what is tadalafil
Alacakaranlik Safak Vakti izle, Alacakaranlik Safak Vakti full izle, Alacakaranlik Safak Vakti t�rk�e dublaj izle, Alacakaranlik Safak Vakti hd izle, The Twilight Saga: Breaking Dawn – Part 1 izle, Sonunda iki asik bela ve edward evlenmek’dedir. Edward ile Jacop arasinda bir se�im bir se�im yapmak zorunda kalan bela tercihini tutkuyla asik oldugu edward’dan yana kullanmaktadir. Film Bela ve Edward’in �evresinde d�nerken esrarengiz olaylar olur ikili tatildeyken �ocuklarinin olacaginin farkina varir bu olay akillara sigmayacak bir sey vampir adam ve insan kani tasiyan kisin �ocuklari olmasi bu konuyu aile ile konusmak isteyen ikili bakalim ne diyecekler nasil bir durum ortaya �ikacaktir. Hester Angeli Brook