标签： scrapy的allowed_domains设置含义

设置allowed_domains的含义是过滤爬取的域名，在插件OffsiteMiddleware启用的情况下（默认是启用的），不在此允许范围内的域名就会被过滤，而不会进行爬取 但是有一个问题：像下面 … Continue reading scrapy的allowed_domains设置含义