职位描述
- 爬虫经验
- PyTorch
- Kafka
- Redis
- MongoDB
- Linux开发/部署经验
- Python
- Flask
岗位职责:
1.负责维护现有系统ETL
2.负责维护现有爬虫系统,进行多平台多终端信息的抓取和分析
3.负责网页/App端页面抓取及分析,能够对各种页面解析设计详细的解决方案,并具体实现;
4.负责防屏蔽、数据清洗等爬虫相关研发和优化工作。
5.领导交办其他事项
任职要求:
1、本科及以上学历,计算机相关专业,2年以上爬虫,后台开发工作经验,项目经验丰富应届生亦可;
2、熟悉html/css/xpath/ajax/xml等技术,熟悉HTTP传输协议,精通网页抓取原理和整合技术,熟悉正则表达式;
3、熟悉Python,熟悉Scrapy爬虫框架和Linux操作系统,有丰富的反爬经验;
4、熟悉MongoDB/Redis/MySQL/Hbase/PQ/ES其中至少俩种。
6、有高并发后端经验优先考虑
7、有Golang经验优先考虑
8、有分布式爬虫经验优先考虑
9、有良好的代码编写习惯,具有良好的沟通、协作能力,有责任心。

白先生 刚刚活跃
竞争力分析


BOSS 安全提示
BOSS直聘严禁用人单位和招聘者用户做出任何损害求职者合法权益的违法违规行为,包括但不限于扣押求职者证件、收取求职者财物、向求职者集资、让求职者入股、诱导求职者异地入职、异地参加培训、违法违规使用求职者简历等,您一旦发现此类行为, 请立即举报
了解更多职场安全防范知识精选职位
页面更新时间:2025-03-02