职位&公司对比
职位详情
- 上海
- 3-5年
- 本科
- 爬虫
1、设计和开发分布式网络爬虫系统,并进BOSS直聘行多平台信息抓取和分析工作; 2、负责网页信息抽取、数BOSS直聘据清洗等研发和优化工作; 3、负责抓取数据的深度提取和挖掘。 任职资格: 1、精通Java,三种编程语言中的至少一种; 2、精通scarpy网页抓取原理及技术,精通正则表达式,从结构化的和非结构化的数据中获取信息; 3、熟悉sql server,有过数据库调优和海量数据存储经验优先; 4、具有大型web登录分BOSS直聘析和搜索相关技术研发经验者来自BOSS直聘优先; 5、具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先。
职位详情
- 上海
- 5-10年
- 本科
- 爬虫
岗位要求: 1. 建立完善的爬虫框架体系, 设计整体技术方案及实施规范 2. 设计并落地爬虫质量体系, 保障爬虫BOSS直聘数据的准确性 3. 完善现有爬虫技术架构, 帮助团队攻克各种反爬/cookie/代理等方面的技术难关, 保障和提升爬虫性能,快速响应各种爬虫需求 工作职责: 1.本科或以上学历,计算BOSS直聘机相关专业; 爬虫开发工作经验5年以上 2.精通Python/Java编kanzhun程语言,具kanzhun备较强的代码设计优化能力,有一定的架构思维 3.熟悉爬虫原理、常见的反爬虫技术和cookie的登录原理 4.熟悉html,css,JavaScript等前端知识kanzhun,熟练掌握bs4,xpath,正则等其中一种或几种常用的信息抽取技术 5.熟悉常见的数据库,如redis、mongodb和mysql等 6.对数据敏感,具有良好的逻辑分析能力 7.有电商相关行业爬虫开发经历优先
技能解析
- 数据存储
- 海量数据
- 机器学习
- 自然语言
- 海量数据存储
- 获取信息
- 研发经验
- 数据库调优
- 数据挖掘
- 数据清洗
- 编程语言
数据来自CSL职业科学研究室
技能解析
- 优化能力
- 良好的逻辑
- 技术方案
- 技术架构
- 建立完善
- 数据敏感
- 开发经历
- 逻辑分析
- 分析能力
- 质量体系
- 开发工作
- 设计优化
- 逻辑分析能力
- 编程语言
数据来自CSL职业科学研究室
工作时间
工作时间
公司福利
- 五险一金
- 加班补助
- 年终奖
- 带薪年假
- 员工旅游
- 通讯补贴
- 交通补助
- 节日福利
- 零食下午茶
公司福利
- 五险一金
- 定期体检
- 全勤奖
- 年终奖
- 带薪年假
- 员工旅游
- 节日福利
- 住房补贴
- 零食下午茶