zhihu-scrapy

zhihu spider using the scrapy and mongodb 本项目使用scrapy来进行知乎数据爬取，用户信息使用mongodb来进行存储。 1.本项目可以使用验证码来进行登录，支持中文验证码和英文验证码。 2.也可以通过登录过后的cookies来进行免验证码登录 3.重写了去重复的方法 4.存储的信息存储到mongodb数据库中