当爬虫被拒绝时(Access Denied)

由于要准备测试数据，不得不大量爬取某个网站的内容。为了防止被封，特意将爬虫设计为单线程同步的爬虫。结果在爬了大约3万个页面的时候，对方发回Access Denied。等一段时间后再启动爬虫，结果还是A … Continue reading 当爬虫被拒绝时(Access Denied)