通过伪静态对垃圾蜘蛛返回403，对游客返回503的设置方法

江山代有才人出，各领风骚数百年。

这段时间看到要给骚客，通过伪静态设置仅蜘蛛可以抓取，垃圾蜘蛛返回403，游客返回503的代码。

用到这样的伪静态几乎无解，游客啥也看不到。

付费内容

游客，您好！如果您要查看本帖隐藏内容请向楼主支付5积分

立即购买

有朋友还问，有一些页面，游客点击了就跳转，模拟蜘蛛无论如何也看不到页面内容，这是为什么？

可能这种页面设置了禁止PC抓取，所以模拟的PC蜘蛛过去啥也抓不到。然后他是通过PHP进行跳转的，就算你禁止了网页加载JS，也正常跳转。

看看是什么东西

不错不错

ralok 发表于 2024-10-26 11:44
看看是什么东西

首先谢谢对本文的支持，可以多多转发一下本论坛。

wx123 发表于 2024-10-26 15:25
不错不错

首先谢谢对本文的支持，可以多多转发一下本论坛。