怎样以及使用Robot避免出现蜘蛛黑洞？

蜘蛛黑洞：

蜘蛛黑洞指的是网站进行极低的整体成本运营中，能制造出大量地和其他内容相知相识但参数不同的所有动态URL ，像一个无限循环的黑洞”将蜘蛛困住，蜘蛛花费太多的时间——在网站，浪费了大量地各种资源抓取的网页为无效网页。

假如你网站存在蜘蛛黑洞现象发生，尽快的处理方式好，蜘蛛黑洞有利于网站的收录，也会影响搜素引擎对网站的评分。

怎样以及使用Robot避免出现蜘蛛黑洞？

怎样借助Robot避免出现蜘蛛黑洞操作：

普普通通的删选最终结果页基本上都是以及使用静态和动态链接，比如：

http:// bj.XXXXX. com/category/zizhucan/weigongcun

当用户可以选择相同排序后，会系统自动可生成带有相同参数的所有动态链接，即便可以选择是同个种排序基本条件，生成的参数也有不同的，比如：

http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek

http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

把带有相同参数的最终结果排序页面以及使用robot基本规则表示拒绝，及时告知搜素引擎，让搜素引擎只抓取删选最终结果页，为用户和搜素引擎节约时间——。

Robot文件写法中Disallow: /*?* 严格禁止首次访问网站中所有的其中包含问号 ? 网址，进行这样的形式，如果网站的效的页面不希望能被搜素引擎收录，也可以屏蔽掉掉低质量的页面，说搜素引擎哪些页面也可以抓取，有效的避免出现黑洞的行成。

深度阅读本文的人还可以阅读：

Robots.txt 文件应放在哪儿？

robots.txt文件有什么必要？

robots.txt

相关前端教程: React教程 | Vue2.0教程 | Vue3.0教程