职位描述:
【岗位职责】
1、负责爬虫系统的设计及改进;
2、负责网络数据抓取需求的实现及采集数据的质量控制;
3、负责公司网站数据反爬虫系统的设计及开发。
【任职要求】
1、2个以上网络爬虫项目开发经验;
2、熟练掌握HTTP协议、网络爬虫原理;
3、熟悉Nutchcrapy/Heritrix/LarbiHttpClient/HtmlPaeJsoup中的一种或多种开源技术;
4、熟练掌握Java,C++,Python等至少一种编程语言。
5、熟悉常见的反爬虫策略;
6、能够有效分析并实现网络数据抓取需求;
7、工作认真、细致、负责,具备良好的表达和沟通能力,具备良好的团队合作精神和工作热情;
8、计算机相关专业本科学历学位,大学英语四级。