WordPress网站太卡？试试屏蔽拦截垃圾蜘蛛抓取

WordPress网站太卡怎么办？WordPress是动态的网站，用户每次访问都需要消耗服务器资源，导致很多WordPress网站流量做起来之后，就会变得非常卡顿，耗费CPU和内存的量比较大，服务器经常爆红。今天，小小课堂SEO自学网(xxkt.og.cn)分享的内容为《WordPress网站太卡？试试屏蔽拦截垃圾蜘蛛抓取》。希望对大家有所帮助。

一、WordPress性能

为了提高WordPress性能，小小课堂网做过很多尝试总结一下：

1、服务器

服务器为4核8G5M，流量只要不是太集中，对于日均万ip足够了，服务器是最重要的基础，如果是2核4G3M的服务器感觉可能就有点不够用了，大家可以根据自己网站的流量情况选择一个比较合适的服务器。

2、服务器系统

如果是流量较高的话，大家比较建议的都是选用linux系统，windows系统采用iis的话会比较慢，而且就资源占用方面，linux系统更是比较好，虽然很多人说，取消windows图形界面会跟linux性能差不都，但是没几个真正去取消的。

3、web服务器

linux比较建议的是nginx，延迟比较短。

4、gzip压缩

开启gzip开启压缩传输。

5、主题

WordPress主题优化其实就是网站代码优化，页面布局不能过多，否则可能会影响加载速度，尽量精简网站代码，只要对网站无疑的代码全部精简掉。

6、CDN

CDN是大网站基本都要用的东西，可以让网站速度更快。但是一般小网站就没必要用了，因为用了反而网站加载速度会变慢。

7、对象存储OSS

对象存储OSS可以把错误博客的所有的图片放到OSS上，其实就是服务商的服务器上，速度非常快，但是使用起来太贵了不建议，之前也提过，这种图片还可以放到另外一台服务器上，可能速度慢一点，但是省钱。

8、升级配置与负载均衡

不管是腾讯云，还是阿里云，升级配置的价格都太高。至于负载均衡的费用就更高了，没什么收益的小破站点还是别用了。

二、拦截垃圾蜘蛛抓取

对于蜘蛛抓取这块，小小课堂网发现还有人想通过robots.txt协议来控制蜘蛛抓取，别天真了，这玩意没几个蜘蛛会遵守，尤其是那些垃圾蜘蛛。正常情况下都是采用web服务器来控制，比如nginx的防止垃圾蜘蛛抓取的代码如下：

#禁止垃圾蜘蛛抓取
if ($http_user_agent ~* (SemrushBot|python|Linespider|crawler|DingTalkBot|simplecrawler|ZoominfoBot|zoombot|Neevabot|coccocbot|Facebot|YandexBot|Adsbot|DotBot|Applebot|DataForSeoBot|MJ12bot|BLEXBot|trendictionbot0|trendictionbot|AhrefsBot|hubspot|opensiteexplorer|leiki|webmeup)) { return 444;
}

代码里面的这些蜘蛛基本上都是无用蜘蛛，很多事营销型蜘蛛如AhrefsBot，还有一些是对网站没啥用的蜘蛛如Facebot、Applebot等。但是一些搜索引擎蜘蛛千万不要屏蔽了，不然就别想网站被收录了。

头条：Bytespider头条蜘蛛

谷歌：Googlebot搜索引擎http://www.google.com/bot.html

神马：YisouSpider搜索引擎https://zhanzhang.sm.cn/open/spider

百度：Baiduspider搜索引擎http://www.baidu.com/search/spider.htm

头条：Bytespider 头条引擎

搜狗：sogou spider 搜索引擎 http://www.sogou.com/docs/help/webmasters.htm#07

必应：bingbot搜索引擎http://www.bing.com/webmaster/help/which-crawlers-does-bing-use-8c184ec0

360：360Spider搜索引擎http://www.haosou.com/help/help_3_2.html

soso：Sosospider搜索引擎http://help.soso.com/webspider.htm

雅虎：Yahoo!搜索引擎http://help.yahoo.com/help/us/ysearch/slurp

以上就是小小课堂SEO自学网(xxkt.og.cn)分享的内容为《WordPress网站太卡？试试屏蔽拦截垃圾蜘蛛抓取》。感谢您的阅读。

原文地址：https://xxkt.org.cn/23295