职位&公司对比
职位详情
- 上海
- 3-5年
- 本科
- 爬虫
1、设计和开发分布式网络爬虫系统,并进行多平台信息抓取和分析工作; 2、负责网页信息抽取、数据清洗等研发和优化工作; 3、负责抓取数据的深度提取和挖掘。 任职资格: 1、精通Java,三种编程语言中的至少一种; 2、精通scarpy网页抓取原理及技术,精通正则表达式,从结构化的和非结构kanzhun化的数boss据中获取信息; 3、熟悉sql server,有过数据库调优和海量数据存储经验优先; 4、具有大型web登录分析和BOSS直聘搜索相关技术研发经验者优先; 5、具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先。
职位详情
- 上海
- 5-10年
- 本科
- python
- 数据爬取
1、负责垂直聘直领域数据爬取和分析; 2、负责爬虫系统的设计与开发及日常系统监控维护; 3、负责研究优化爬虫算法,提升爬虫系统的稳定性、可扩展性; 4boss、负责设计爬虫策略和防屏蔽规则,提boss升效率和质量; 5、能独立解决实际过程中碰到的各种问题; 6、负责日常数据采集系统的迭代,积极响应业务需求。 任职要求 1、6年以上的数据爬取相关工作经验; 2、熟练掌握 Python, NodeJS, numpy、pandas; 3、 熟练掌握 js逆向,断点调试,hook等技能; 4、kanzhun有解决決复杂的反爬限制实践经验,能解决如图片验证码、滑块、账号限制、ip限制等问题; 5、良好的团队合作意识,对技术饱有热情。
技能解析
- 数据存储
- 海量数据
- 机器学习
- 自然语言
- 编程语言
- 海量数据存储
- 获取信息
- 研发经验
- 数据库调优
- 数据挖掘
- 数据清洗
数据来自CSL职业科学研究室
技能解析
- 系统监控
- 提升效率
- 合作意识
- 独立解决
- 可扩展性
- 团队合作意识
- 系统的设计
- 团队合作
- 数据采集
数据来自CSL职业科学研究室
工作时间
工作时间
公司福利
- 五险一金
- 加班补助
- 年终奖
- 带薪年假
- 员工旅游
- 通讯补贴
- 交通补助
- 节日福利
- 零食下午茶
公司福利
- 五险一金
- 绩效奖金
- 底薪加提成
- 股票期权
- 节假日加班费
- 工龄奖
- 员工旅游
- 零食下午茶
- 生日福利
- 交通补助