岗位职责：
1. 负责平台分布式网络爬虫系统的设计与研发工作、进行多平台网页、APP等数据的爬取和分析工作，如果有电商数据抓取经验更佳；
2. 负责核心数据抓取及存储系统的架构设计、优化；
3. 设计爬虫策略和防屏蔽规则，提升网页和APP的抓取效率和质量。

任职要求：
1、 本科及以上学历，计算机等相关专业；
2、有3年以上Python爬虫相关经验，精通常用的爬虫网络框架，了解其工作原理及重要组件；
3、有丰富的解决复杂的反爬限制经验，能解决如图片验证码/滑块/账号限制/IP限制等问题；
4、 熟悉掌握 Scrapy或 Spider 框架的机制和现实、数据存储架构设计；
5、 熟练使用 Python request 模块、xpath、Selenium，BeautifulSoup，正则等；
6、熟悉mysql数据库、熟悉mysql的各种存储引擎，熟悉索引工作原理；熟悉java语言、有机器学习相关经验者优先。
7、拥有良好的沟通、交流能力；做事严谨，注重细节。