神马搜索收录降低怎么办？实战解决神马搜索抓取失败问题

神马搜索是由uc和阿里退出的搜索引擎，一般大部分战场都是不会去做这个神马收录的，觉得神马搜索占用率不高，不过目前夸克的默认搜索是神马搜索，这个搜索也是能带来一些自然流量的那么神马搜索收录降低怎么办？实战解决神马搜索抓取失败问题。

昨天晚上，痴痴资源网站长在群里询问他的网站神马抓取失败，一直显示抓取封禁，然后再寻求可以帮他解决问题的站长，并且可以赠送红牛，当我听见这个红牛，我赶紧冲着多年的友谊去了（其实冲着红牛去的），然后咱们再先看一下他的情况吧。

这是目前他神马站长平台的抓取情况，全部显示抓取封禁，这里呢我眼想到的是可能是他robot封禁神马搜索抓取了，然后查询了一下他的robot

通过观察可以发现，他的robot并没有什么问题，有没有把神马蜘蛛封禁，然后又询问了一下痴痴，得到信息他以前是可以正常抓取的，是近发现出现了这么一个问题，他的robot也没做过任何修改，把robot问题排除掉。

既然robot没问题，那有点奇怪了，显示封禁，说明蜘蛛已经抓了，但是被禁止了，有可能的是robot封禁了，既然不是这个问题咱们找一下下一个问题。

我这里呢，认为应该是宝塔防火墙的问题，这个宝塔的防火墙默认是放通蜘蛛ip的，不过好像是因为这个神马搜索太小众，宝塔并没有添加神马蜘蛛ip为白名单，以前也有人反馈过这个问题，现在我也不知道解决了没有，然后我先使用模拟蜘蛛抓取工具抓取一下痴痴资源网。

抓取的时候显示403，后抓取失败，这时候我更加坚信，肯定是防火墙拦截了，403报错一般是防火墙拦截，或者是dns问题，但是如果是DNS问题那么他网站应该无法正常访问的，而且他使用大厂dns，应该不会出现这种问题，然后排除dns问题去看防火墙问题。

然后我让痴痴关闭防火墙再试试，结果抓取还是显示403，这很疑惑了，我这有点摸不到头脑，明明红牛在我眼前，我喝不到，不过我觉得这种问题多半是防火墙拦截之类的，然后我问痴痴那里有没有使用类似于防火墙的一些东西，然后痴痴检查了检查，好巧不巧，问题找到了。

 

注意看这个图，你们发现了什么没有？这个是原来别人分享的封禁垃圾爬虫和恶意采集ua头代码，使用之后可以封禁那些恶意爬虫，痴痴使用了这个代码，然后大家看一下下面这个图。

红线部分，注意这个红线，指的这个地方，这个ua头是神马搜索的蜘蛛ua头，这个拦截垃圾蜘蛛代码，把神马的搜索当成垃圾蜘蛛拦截掉了，然后痴痴把这个关闭，接下来再次使用模拟蜘蛛抓取来看。

可以看到，模拟神马蜘蛛抓取抓取成功了，到这里问题差不多是解决了。

原来，痴痴一直以为神马收录排名降低是正常波动，结果连续往下降，这才发现有这么一个问题，现在解决之后，从神马站长平台立马看见效果，蜘蛛成功抓取。

后呢，总结一下，到后我也没有喝上红牛，真没想到问题出在这里，我还一直觉得是防火墙问题，有一些站长认为，除了百度蜘蛛，其他的都不用管，这里其实我并不这样认为，现在有一些手机游览器都是默认搜狗搜索，uc，夸克等游览器默认都是神马搜索，这里其实也是有一些庞大的用户团体，像痴痴这样的大佬，都是注重所有搜索的排名，我这怎么能说除了百度其他的没用呢？

神马搜索收录降低怎么办？实战解决神马搜索抓取失败问题到这里已经完美解决了，我还是比较建议这些屏蔽垃圾蜘蛛的代码，防火墙之类的可以稍微完善一下，好歹神马也是大厂，也不能这样当成垃圾蜘蛛拦截呀。