各大行业职位任你选
首次验证通过即注册BOSS直聘账号相似职位更多相似职位
-
大数据开发工程师 15-30K
职位对比
华为
北京
-
数据开发 15-25K
职位对比
中电金信
北京
-
阿里云智能-云安全-数据研发工程师 15-30K·16薪
职位对比
阿里云
北京
-
大数据研发工程师 15-30K·16薪
职位对比
百度
北京
-
数据开发 财险项目 长期稳定 15-20K
职位对比
中科软
北京
职位描述
- 接受无数据开发经验
- 数据开发
- 数据仓库
- 数据采集
- 数据清洗
1. 数据采集与清洗：负责从多源收集数据，使用爬虫技术和自动化脚本进行数据采集和清洗，确保数据的基础质量，支撑下游的数据分析和模型训练。
2. 数据搜索与索引：设计高效的数据搜索与索引机制，提高数据检索效率，以满足模型和业务系统的实时需求。
3. 数据质量管理：建立并维护数据质量监控机制，应用自动化清洗规则、异常检测和数据验证等手段提升数据的完整性和一致性。
4. 数据存储与ETL：设计和优化数据仓库架构，熟练构建ETL流程，支持多维数据管理及分析需求。
5. 数据服务API开发：开发稳定、可扩展的数据API接口，确保数据在算法和应用团队中的高效流转。
6. 分布式计算与实时数据处理：掌握Hive、Spark、Flink、Kafka等常用工具，支持大规模数据处理和实时数据流转。
7. 数据调度与自动化：使用DataX和Dolphin Scheduler等工具，优化数据调度流程，实现高效的数据处理自动化。
加分项：
- 向量数据库管理：运用向量数据库技术支持高效的向量数据存储和相似度搜索。
- 图数据库管理：使用图数据库（如Neo4j等）管理复杂关系数据，实现对图结构数据的高效存储和查询。
【岗位要求】
- 专业背景：数据科学、计算机科学或相关领域，本科及以上学历
- 技术经验：5年以上数据工程经验，精通数据采集、清洗流程，具备大规模数据集的管理经验
- 数据质量管理：熟悉数据质量监控、异常检测、数据验证等专业技术
- 数据仓库与ETL：精通数据仓库构建及ETL流程，有能力支持复杂查询和多维分析
- API设计与优化：具备数据API的开发和优化能力，为业务及模型提供稳定的数据支持
- 分布式计算和流数据处理：熟练掌握Hive、Spark、Flink、Kafka等分布式计算工具，具备实时数据处理能力
- 数据调度工具：熟悉DataX和Dolphin Scheduler等自动化调度工具
- 沟通与协作：具备优秀的团队协作和跨部门沟通能力，能够协调算法、产品和前端团队，推动数据服务和项目的顺利实施。
认证资质
张女士
竞争力分析
人中排名第BOSS 安全提示
BOSS直聘严禁用人单位和招聘者用户做出任何损害求职者合法权益的违法违规行为，包括但不限于扣押求职者证件、收取求职者财物、向求职者集资、让求职者入股、诱导求职者异地入职、异地参加培训、违法违规使用求职者简历等，您一旦发现此类行为， 请立即举报
了解更多职场安全防范知识
精选职位
更新于：2024-11-01
电子营业执照
京公网安备11010502032801
关注BOSS直聘微信服务号
