WordPress网站robots怎么设置？网站robots通用规则分享

今天有人问我WordPress网站robots怎么设置，我想了一会，于是乎写了这篇文章WordPress网站robots怎么设置？网站robots通用规则分享可以帮助大家设置这个robots，有需要的来看看吧。

其实如果按理说不设置robots的话，默认是收录和抓取没有限制，让蜘蛛随便抓，随便收录，但实际上，从一定意义上来说，有robots的网站更利于蜘蛛抓取，我觉得有一些网站，有一些东西不能让蜘蛛抓取，也可以直接在robots处屏蔽行，所以我觉得还是有必要设置这个的。

来看看我一直用的robots内容

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-include/
Disallow: /wp-login.php?redirect_to=*
Disallow: /go?_=*
Disallow: /*?*
Allow: /wp-admin/admin-ajax.php

Sitemap: https://hcnote.cn/wp-sitemap.xml

那么我写的这个是什么意思呢？咱们来说道说道，最上面那一行，允许所有蜘蛛抓取，后面三个disallow屏蔽抓取后台文件，这样可以防止抓取后台，防止后台被收录，再往下一个，我的网站文章内连接跳转，做的是go跳转，禁止抓取go链接，可以防止我的网站权重传递给文章中出现的其他网站链接了，对网站也是有一些好处，最后一个disallow是不让抓取带？的链接，我的网站呢，有一些带问号的链接，他并不是静态链接，可能是最开始忘了设置伪静态， 最后出现的这些东西，所以不能让他抓，最后一行allow是允许抓取ajax文件，这个是必须要允许的，在往下一行是sitemap文件链接，这样可以帮助蜘蛛爬取。

差不多是这个意思吧，大家尽量根据我的改一下，我的比较更适合于我自己的网站，不过改不改的我感觉没啥大用，这个基本可以通用了。