1.负责网络爬虫产品的研发工作；

2.负责各种核心算法的设计与开发；

3.负责网络爬虫采集规则的编写；

4.解决网页抓取、信息抽取等问题，构建高可用性、高扩展性网络信息收集平台；

5.解决封账号、封IP采集难点攻克。

任职要求：

1.掌握Python、Shell等脚本语言，有半年以上Python开发经验；

2.一年以上大规模网页爬虫开发经验优先；

3.有分布式爬虫架构经验者优先；

4.对算法设计和数据结构有深刻的理解；

5.有很强的分析和解决问题的能力；

6.强烈的责任心和良好的团队合作能力。