数据建模工程师
相关职位简介
- 来源:上海清序科技有限公司
数据建模工程师
岗位职责:1.建模项目研发,主要包括但不限于风控反欺诈.用户画像挖掘.精准营销.个性化推荐.自然语言处理等数据应用场景2.参与模型开发需求讨论.数据清洗.建模调参.测试反馈分析.迭代全流程。3.持续跟踪机器学习.深度学习最前沿技术,能够持续改善线上模型效果4.独立负责数据应用项目,为数据准确性及最终转化效果负责。任职要求:1.本科及以上学历,计算机数学物理统计等相关专业,2年以上工作经验2.熟悉C++.JAVA.python.SQL.cala中至少2种以上编程技术,熟悉大数据处理技术,了解数据挖掘的基本原理.hadoop生态圈3.关注科技行业相关动态,对互联网相关行业通用技术方案.商业模型有一定了解4.具备数据敏感性和探知欲.分析.解决问题的能力.善用搜索引擎5.工作主动.认真.负责.仔细,有良好的团队合作精神.分析能力.沟通技巧6.在以下领域有深入研究经验者优先:1)用户行为数据的分析挖掘和用户画像的构建,了解通信运营商数据源更佳;2)垂直行业的数据挖掘经验(风控反欺诈.游戏.金融.电商等);3)互联网广告触点.信息流推荐算法的研发与优化。
所需技能: SQL、Python、Java、Scala
- 来源:智己汽车科技有限公司
数据建模工程师
工作内容:1.深入理解数据业务,分析业务需求,参与需求评审,形成技术方案;2.参与数据模型设计.开发及管理,并编写相关的文档;3.具有较高的数据敏感度,能够快速定位数据问题并给出解决方案;4.了解数据集市相关知识,对数据清洗.统一数据标准有一定接触理解。能够快速理解多源系统数据接入和处理过程;5.有管理系统开发经验,明白对业务开展过程中的操作环节和常用质量控制方法;6.有较强的沟通能力和理解能力,配合项目负责人完成相关的数据工作。任职要求:1.统招本科以上学历,计算机相关专业,有数据模型设计,建模相关工作经验3年以上;2.精通SQL及数据结构,熟悉MySQL.Oracle等关系型数据库,并有实际的开发实施经验;3.品格端正,有工作责任感,能承受一定的工作压力;4.思维清晰有条理,工作热情敬业有耐心。5.具备以下其中1~2项成功实践经验者优先:#有ETL开发经验#有可视化大屏.BI报表底层数据模型设计经验#使用过Greenplum.Clickhoue.Hive其中一种数仓技术
所需技能: HIVE
- 来源:北京神州新桥科技有限公司
数据建模工程师
工作内容:该岗位为驻场的工作形式。1.参与完成数据溯源.数据模型开发和验证工作。任职要求:1.学信网可查大专及以上学历,具备1年及以上数据仓库开发实施的工作经验;2.熟悉数据仓库ETL过程,能根据业务需求设计数据仓库模型,并对数据仓库数据模型进行管理,保证数据质量;3.精通ql开发和性能调优工作,熟练使用Myql等数据库开发,熟悉使用PowerDeigner。能够快速的理解业务模型及数据模型。4.工作认真.负责.仔细,有良好的团队合作精神,良好的分析能力.沟通技巧。5.有大数据开发和国网业务建设工作经验者优先。
所需技能: SQL、Mysql、数据建模
- 来源:北京海致星图科技有限公司
数据建模工程师
岗位职责1.负责客户系统相关数据主题的实施和项目管理工作,包括但不限于需求管理.项目规划.过程实施.上线验收.交付运营等;2.依据业务场景.分析需求提供技术.业务解决方案并加以实现;3.与技术部门对接,解决数据建模.报表和报告在系统开发遇到的问题;4.协助商务开展售前支持或POC工作。任职要求*1.统招本科及以上学历,计算机.统计学.应用数学等相关专业;2.3年以上相关工作经验,有银行.证券数据分析经验者优先;3.熟悉Hadoop.Hive平台,对Hadoop生态圈有基本的认知,两年以上HQL开发经验;4.熟悉Myql.DB2.Oracle等数据库及SQL开发.SQL优化.存储过程;5.有数据仓库和数据集市的项目经验,对范式和维度建模方法论了解,对星型和雪花式模型了解;6.熟悉Linux开发环境.java语言和Shell脚本;7.具备KETTLE.AIRFLOW使用经验;8.有金融行业报表开发.数据集市开发.数据仓库开发.标签开发经验者优先;9.优秀的业务理解能力.逻辑性和沟通能力,能跨部门合作沟通;
所需技能: hive、Hadoop
- 来源:成都千小豹科技有限公司
数据建模工程师
岗位职责:1.综合各产业用户的需求进行深度分析,基于大数据挖掘及各行业营销知识图谱和平台进行数据挖掘和营销业务建模;2.依据公司体系内外海量数据,构建指标体系,企业标签算法开发;对数据进行加工.清洗,运用各种统计方法对消费特征进行深度挖掘研究;3.为各企业的营销需求客户画像.评级.评分等提供数据规范,构建指标体系,提取指标数据;4.负责数据挖掘分析工作,将数据和业务深度融合,挖掘价值,从应用出发,不断倒逼数据质量;5.专注核心产业营销模型和解决方案;6.软件需求提出;任职要求:1.三年以上BI工作经验,至少两年以上数据建模工作,熟悉至少一种建模工具;2.精通java.Python语言,两年以上开发经验;3.精通Hadoop,hive,park,qoop等;4.精通Oracle.SQLServer.MySQL等主流数据库的应用设计.性能调优及存储过程的开发具有2年以上ETL相关开发经验;5.对ETL有较深刻的认识,对于数据的定义有独到理解,熟悉至少一种ETL工具;6.拥有良好的代码习惯,要求结构清晰,注释清晰,命名规范,逻辑性强,代码冗余率低,尤其是习惯写开发文档。
所需技能: SQL、Python、Spark、Sqoop、HIVE、Java、R语言
- 来源:锐仕方达人才科技集团有限公司
数据建模工程师
工作职责1.参与过保险类数据建模工作,三年以上数据集市建设工作经验,至少一年以上数据建模工作,熟悉一种建模工具;2.精通java.Python语言之一,两年以上开发经验;3.精通Hadoop,Hive,Spark,Sqoop,Flume等;4.精通Oracle.SQLServer.MySQL等主流数据库的应用设计.性能调优及存储过程的开发具有2年以上ETL相关开发经验;5.对ETL有较深刻的认识,对于数据的定义有独到理解,熟悉至少一种ETL工具;6.拥有良好的代码习惯,要求结构清晰,注释清晰,命名规范,逻辑性强,代码冗余率低,尤其是习惯写开发文档。任职资格1.负责企业级数据仓库的搭建,根据数据仓库及数据应用项目的需求,制定ETL相关的设计方案和开发计划,并进行后续的设计.实施.维护;2.负责整个数据仓库数据模型的管理工作(建模,设计,实施);3.负责数据源调研.入库.开发的全流程工作,并保证数据质量;4.负责数据仓库的模型的标准制定,实施,监督工作;5.承担数据抽取.清洗.转化等数据处理程序开发。
所需技能: SQL、Python、Spark、Flume、Sqoop
- 来源:广发证券股份有限公司
数据建模工程师
岗位职责:1.负责公司数据仓库的业务系统需求调研.分析以及沟通。2.负责数据仓库基础数据模型的逻辑模型设计和物理模型设计及日常运营工作。3.负责企业级数据标准在数据仓库落标。4.负责数据仓库系统与上下游系统的接口设计和确认,以及对外解释工作。5.负责各部门的临时数据调阅工作。任职资格:1.计算机,数学相关专业本科以上学历,5年以上金融行业数据仓库.数据建模等相关工作经验。2.熟练掌握范式建模及维度建模方法,熟练使用熟悉Erwin.PowerDeigner等设计工具,有数据仓库开发经验,具备金融行业数据模型设计经验优先。3.熟练掌握数据仓库建设实施工艺流程。4.熟悉大数据平台ETL开发。5.具备高度的责任心.良好的沟通.推动和协调能力。6.品行良好,诚实守信;无任何违法.违规.违纪记录。
所需技能: 数仓建模
- 来源:大连文思海辉信息技术有限公司
数据建模工程师
岗位职责:1.基于地产相关业务,建设风控数据仓库模型体系;2.数据仓库架构设计及管理.模型设计及研发;3.负责实时数据体系建设;4.负责实时技术难点的攻克及前沿技术的预研。任职要求:1.计算机.通信.数学.统计相关专业本科及以上学历,大数据方向3年以上相关工作经验;2.精通或熟悉大数据相关技术,Hadoop/HBae/Hive/Kafka/Druid/ES/clickhoue等,对一种或多种有深入的理解,有数澜大数据平台开发经验优先;3.精通数据仓库建设思路,并有相关实施经验;精通数据etl和掌握数据建模理论和实践,特别有风控及相关数据模型建设经验优先;4.精通流式处理技术,有Flink/SparkStreaming/Storm实现项目经验;5.较强的数据开发能力,深入理解Hadoop/MapReduce/Hive/Spark,有hql/ql调优经验;6.熟练使用Java,Python,Scala语言中一种或者多种;7.有地产公司项目业务背景优先考虑;
所需技能: 数据建模
- 来源:苏州普瑞斯人力资源服务有限公司
数据建模工程师
工作职责1.8年以上相关工作经验,精通保险类建模方法和理论,熟悉业界最新的数据模型设计理念。至少参与过较大保险类数据建模项目2个;2.精通java.Python语言之一,两年以上开发经验;3.精通Hadoop,Hive,Spark,Sqoop,Flume等;4.精通Oracle.SQLServer.MySQL等主流数据库的应用设计.性能调优及存储过程的开发具有2年以上ETL相关开发经验;5.对ETL有较深刻的认识,对于数据的定义有独到理解,熟悉至少一种ETL工具;6.拥有良好的代码习惯,要求结构清晰,注释清晰,命名规范,逻辑性强,代码冗余率低,尤其是习惯写开发文档。任职资格1.负责企业级数据中台数据模型设计和实施工作,梳理业务需求转化为概念模型.逻辑模型以及实体模型。2.负责整个数据仓库以及数据集市数据模型的管理工作(建模,设计,实施);3.负责数据仓库的模型的标准制定,实施,监督工作;4.承担数据抽取.清洗.转化等数据处理程序开发。5.跟踪和分析业界最新进展情况,持续优化数据模型
所需技能: SQL、Python、Spark、Flume、Sqoop、HIVE
- 来源:诺威华仕(北京)管理咨询有限公司
数据建模工程师
岗位职责1.负责企业大数据平台数据模型设计;2.负责企业大数据平台数据标准制定.数据质量检查规则制定及元数据管理维护;3.负责沟通需求,将需求转化为模型及mapping;4.日常数据异常排查及分析。任职要求:1.至少三个(含三个)以上,数据仓库.数据集市建模经验;2.能够熟练运用erwin.PowerDeigner等至少一种建模工具;3.熟悉数据模型建设流程,精通3NF及cube设计;4.SQL编写熟练,至少熟悉两种(含两种)以上数据库,hiveoraclemyql等数据库;5.有较强的沟通能力,能够将需求转化为模型,能够独立编写mapping设计;6.能够梳理制定数据标准,设计数据质量检查规则,收集管理元数据;7.有排查.分析一般数据异常的能力;8.有金融行业背景.互联网背景优先。
所需技能: 数据建模、数据仓库
- 来源:江苏鑫数聚网络科技有限公司
数据建模工程师
岗位职责:1.与产品经理一起,完成需求的理解2.根据项目的需求,完成源系统的数据探索工作3.参与数据应用的建模设计.性能监控及优化迭代工作4.评审.指导下属工程师进行数据建模工作任职要求:1.本科及以上,要求计算机及相关专业,5年及以上数据建模设计.开发经验;2年以上大数据开发经验,有小型开发团队带队经营,有财务.供应链.营销业务领域以及零售.快销品行业的业务知识2.熟练掌握大数据环境下的数据仓库建模方法,并能熟练应用3.熟悉掌握hive.Hadoop.Kafka.Flink等开源框架原理,具备一定的TroubleShooting能力;4.SQL开发功底扎实,有良好的编程规范和丰富的开发经验;5.掌握Linux操作系统及hell脚本6.学习能力强,愿意去关注和尝试新技术7.具有良好的编码习惯,乐于和团队成员沟通.分享
所需技能: 数据开发、数据仓库、数据库开发
- 来源:百度时代网络技术(北京)有限公司
数据建模工程师
工作职责:1)配送业务的离线数据模型的体系化建设;2)结合治理工作,在数据架构和模型合理性方面持续开展模型易用性治理.模型可用性治理和数据质量治理相关工作;3)保持和源系统或上游依赖数据团队的紧密沟通和协作,持续性开展源数据的集成.模型建设和影响评估,为下游用户提供稳定.易用的核心模型数据体系,并沉淀建模方法论;4)对数据模型体系进行数据质量和生产时效性进行体系化监控,并保障数据的稳定.高质的产出;任职要求:1)业务敏感,深入理解数据仓库建设方法.业务ER建模及数仓维度建模理论,熟悉ETL研发;有丰富的数仓体系化建设经历;2)熟悉Hadoop架构和工作原理,精通MapReduce编程;精通Hive或Spark,有调优经验;3)熟练使用至少一种RDBMS,并熟悉其原理;4)掌握数据结构与算法,有java或python研发经验;5)有其他数据研发相关工具经验优先,例如HBae.Kylin/Druid.ES.Tair/Redi.TiDB;3.其他要求:1)期望长期从事数据研发相关工作,关注业务,并能结合业务从数据角度思考和推动业务发展;
所需技能: 数据仓库、ETL、DBA、数据架构师、Python、Java、Hive、Elasticsearch
入门书籍
- 数据之巅
- Hadoop权威指南:大数据的存储与分析(第4版)(修订版)(升级版)
- Hive编程指南
职业晋升路径
横向职业发展
职业问答
数据获取
数据清洗
数据可视化
数据分析(描述统计,定义指标,挖掘,建模…)
常用的工具:Excel,PPT,sql,bi 报表工具,Hadoop 生态圈,xmind,Python,spss……
广义来说工具太多了,但是要做的事就这几件,岗位的分支也很多,就题而论,数据开发应该偏后台