反爬虫技术是使用任何技术及手段,阻止被人抓取自己网站信息的一种方法,关键在于批量和减少阻止过程中的误伤。(1、)后台对访问进行统计,单位时间内同一IP访问的次数超过一个特定的值(阀值),就封IP。效果不是很好,不过针对三月爬虫效果还是不错的,目前用的也是很多的。(2、)后台对访问的session进行统计,单位时间内同一session访问的次数超过一个特定的阀值,就封IP,同样效果不是很好,好的爬虫仍然能伪装的躲过。(3、)后台对访问的User_Agent进行统计,单位时间内同一User_Agent访问的次数超过特定的阀值,封IP,此法效果不过,但误伤大,任何误伤大的反爬虫机制,无论效果多好,都会被谨慎使用的。