WordPress网站太卡?试试屏蔽拦截垃圾蜘蛛抓取

WordPress网站太卡怎么办?WordPress是动态的网站,用户每次访问都需要消耗服务器资源,导致很多WordPress网站流量做起来之后,就会变得非常卡顿,耗费CPU和内存的量比较大,服务器经常爆红。今天,小小课堂SEO自学网(xxkt.og.cn)分享的内容为《WordPress网站太卡?试试屏蔽拦截垃圾蜘蛛抓取》。希望对大家有所帮助。

一、WordPress性能

为了提高WordPress性能,小小课堂网做过很多尝试总结一下:

1、服务器

服务器为4核8G5M,流量只要不是太集中,对于日均万ip足够了,服务器是最重要的基础,如果是2核4G3M的服务器感觉可能就有点不够用了,大家可以根据自己网站的流量情况选择一个比较合适的服务器。

2、服务器系统

如果是流量较高的话,大家比较建议的都是选用linux系统,windows系统采用iis的话会比较慢,而且就资源占用方面,linux系统更是比较好,虽然很多人说,取消windows图形界面会跟linux性能差不都,但是没几个真正去取消的。

3、web服务器

linux比较建议的是nginx,延迟比较短。

4、gzip压缩

开启gzip开启压缩传输。

5、主题

WordPress主题优化其实就是网站代码优化,页面布局不能过多,否则可能会影响加载速度,尽量精简网站代码,只要对网站无疑的代码全部精简掉。

6、CDN

CDN是大网站基本都要用的东西,可以让网站速度更快。但是一般小网站就没必要用了,因为用了反而网站加载速度会变慢。

7、对象存储OSS

对象存储OSS可以把错误博客的所有的图片放到OSS上,其实就是服务商的服务器上,速度非常快,但是使用起来太贵了不建议,之前也提过,这种图片还可以放到另外一台服务器上,可能速度慢一点,但是省钱。

8、升级配置与负载均衡

不管是腾讯云,还是阿里云,升级配置的价格都太高。至于负载均衡的费用就更高了,没什么收益的小破站点还是别用了。

二、拦截垃圾蜘蛛抓取

对于蜘蛛抓取这块,小小课堂网发现还有人想通过robots.txt协议来控制蜘蛛抓取,别天真了,这玩意没几个蜘蛛会遵守,尤其是那些垃圾蜘蛛。正常情况下都是采用web服务器来控制,比如nginx的防止垃圾蜘蛛抓取的代码如下:

#禁止垃圾蜘蛛抓取
if ($http_user_agent ~* (SemrushBot|python|Linespider|crawler|DingTalkBot|simplecrawler|ZoominfoBot|zoombot|Neevabot|coccocbot|Facebot|YandexBot|Adsbot|DotBot|Applebot|DataForSeoBot|MJ12bot|BLEXBot|trendictionbot0|trendictionbot|AhrefsBot|hubspot|opensiteexplorer|leiki|webmeup)) { return 444;
}

WordPress网站太卡

代码里面的这些蜘蛛基本上都是无用蜘蛛,很多事营销型蜘蛛如AhrefsBot,还有一些是对网站没啥用的蜘蛛如Facebot、Applebot等。但是一些搜索引擎蜘蛛千万不要屏蔽了,不然就别想网站被收录了。

头条:Bytespider头条蜘蛛

谷歌:Googlebot搜索引擎http://www.google.com/bot.html

神马:YisouSpider搜索引擎https://zhanzhang.sm.cn/open/spider

百度:Baiduspider搜索引擎http://www.baidu.com/search/spider.htm

头条:Bytespider 头条引擎

搜狗:sogou spider 搜索引擎 http://www.sogou.com/docs/help/webmasters.htm#07

必应:bingbot搜索引擎http://www.bing.com/webmaster/help/which-crawlers-does-bing-use-8c184ec0

360:360Spider搜索引擎http://www.haosou.com/help/help_3_2.html

soso:Sosospider搜索引擎http://help.soso.com/webspider.htm

雅虎:Yahoo!搜索引擎http://help.yahoo.com/help/us/ysearch/slurp

以上就是小小课堂SEO自学网(xxkt.og.cn)分享的内容为《WordPress网站太卡?试试屏蔽拦截垃圾蜘蛛抓取》。感谢您的阅读。

原文地址:https://xxkt.org.cn/23295

百度搜索“错误博客”即可找到本站,微信搜索“小小课堂网”关注小小课堂网公众号。错误博客( cuowu.com )欢迎用户投稿,发布者:中二少年,文章版权归作者所有,投稿文章不代表错误博客立场,中二少年发布为错误博客原创文章,转载请注明出处:https://cuowu.com/647792.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022年4月23日 上午12:42
下一篇 2022年4月23日 上午12:42

相关推荐

发表评论

您的电子邮箱地址不会被公开。