神马搜索收录降低怎么办?实战解决神马搜索抓取失败问题

神马搜索是由uc和阿里合作退出的搜索引擎,一般大部分战场都是不会去做这个神马收录的,觉得神马搜索占用率不高,不过目前夸克的默认搜索就是神马搜索,这个搜索也是能带来一些自然流量的那么神马搜索收录降低怎么办?实战解决神马搜索抓取失败问题

昨天晚上,痴痴资源网站长在群里询问他的网站神马抓取失败,一直显示抓取封禁,然后再寻求可以帮他解决问题的站长,并且可以赠送红牛,当我听见这个红牛,我赶紧冲着多年的友谊就去了(其实冲着红牛去的),然后咱们再先看一下他的情况吧。

神马搜索收录降低怎么办?实战解决神马搜索抓取失败问题插图

这是目前他神马站长平台的抓取情况,全部显示抓取封禁,这里呢我第一眼想到的是可能是他robot封禁神马搜索抓取了,然后就查询了一下他的robot

神马搜索收录降低怎么办?实战解决神马搜索抓取失败问题插图1

通过观察可以发现,他的robot并没有什么问题,有没有把神马蜘蛛封禁,然后又询问了一下痴痴,得到信息他以前是可以正常抓取的,就是最近发现出现了这么一个问题,他的robot也没做过任何修改,把robot问题排除掉。

既然robot没问题,那就有点奇怪了,显示封禁,说明蜘蛛已经抓了,但是被禁止了,最有可能的就是robot封禁了,既然不是这个问题咱们就找一下下一个问题。

我这里呢,认为应该是宝塔防火墙的问题,这个宝塔的防火墙默认是放通蜘蛛ip的,不过好像是因为这个神马搜索太小众,宝塔并没有添加神马蜘蛛ip为白名单,以前也有人反馈过这个问题,现在我也不知道解决了没有,然后我先使用模拟蜘蛛抓取工具抓取一下痴痴资源网。

神马搜索收录降低怎么办?实战解决神马搜索抓取失败问题插图2

抓取的时候显示403,最后抓取失败,这时候我就更加坚信,肯定是防火墙拦截了,403报错一般就是防火墙拦截,或者是dns问题,但是如果是DNS问题那么他网站应该无法正常访问的,而且他使用大厂dns,应该不会出现这种问题,然后排除dns问题去看防火墙问题。

然后我让痴痴关闭防火墙再试试,结果抓取还是显示403,这就很疑惑了,我这有点摸不到头脑,明明红牛就在我眼前,我就喝不到,不过我觉得这种问题多半是防火墙拦截之类的,然后我就问痴痴那里有没有使用类似于防火墙的一些东西,然后痴痴检查了检查,好巧不巧,问题找到了。

神马搜索收录降低怎么办?实战解决神马搜索抓取失败问题插图3

 

注意看这个图,你们发现了什么没有?这个是原来别人分享的封禁垃圾爬虫和恶意采集ua头代码,使用之后可以封禁那些恶意爬虫,痴痴使用了这个代码,然后大家看一下下面这个图。

神马搜索收录降低怎么办?实战解决神马搜索抓取失败问题插图4

红线部分,注意这个红线,指的这个地方,这个ua头就是神马搜索的蜘蛛ua头,这个拦截垃圾蜘蛛代码,把神马的搜索当成垃圾蜘蛛拦截掉了,然后痴痴把这个关闭,接下来再次使用模拟蜘蛛抓取来看。

神马搜索收录降低怎么办?实战解决神马搜索抓取失败问题插图5

可以看到,模拟神马蜘蛛抓取抓取成功了,到这里问题差不多就是解决了。

神马搜索收录降低怎么办?实战解决神马搜索抓取失败问题插图6

原来,痴痴一直以为神马收录排名降低是正常波动,结果连续往下降,这才发现有这么一个问题,现在解决之后,从神马站长平台立马就看见效果,蜘蛛成功抓取。

最后呢,总结一下,到最后我也没有喝上红牛,真没想到问题出在这里,我还一直觉得是防火墙问题,有一些站长认为,除了百度蜘蛛,其他的就都不用管,这里其实我并不这样认为,现在有一些手机游览器都是默认搜狗搜索,uc,夸克等游览器默认都是神马搜索,这里其实也是有一些庞大的用户团体,像痴痴这样的大佬,都是注重所有搜索的排名,我这怎么能说除了百度其他的就没用呢?

神马搜索收录降低怎么办?实战解决神马搜索抓取失败问题到这里已经完美解决了,我还是比较建议这些屏蔽垃圾蜘蛛的代码,防火墙之类的可以稍微完善一下,好歹神马也是大厂,也不能这样当成垃圾蜘蛛拦截呀。

 

© 版权声明
THE END
喜欢就支持一下吧
点赞15 分享