数据仓库工程师
相关职位简介
- 来源:上海壹佰米网络科技有限公司
数据仓库工程师
岗位职责:1.对接并梳理业务需求,开发数据仓库模型,设计相关主题的事实表和维度表等;2.使用ETL工具开发数据流;3.使用BI工具以及OLAP工具进行数据可视化的开发和展现;4.学习和利用大数据平台,不断优化和提升系统效率。岗位要求:1.0~3年数据相关工作经验,本科及以上学历;2.有数据库经验,熟悉SQL.了解ETL.数据仓库建模理论为佳;3.有Linux/Shell.Python.Java等编程技能加分;4.有Hive.Hadoop.Spark相关数据平台经验优先;5.具备良好的沟通能力,踏实,有主动学习的热情和能力。
所需技能:
- 来源:北京未来便利技术有限公司
数据仓库工程师
岗位职责:1.负责建设数据仓库架构,包括元数据管理.ETL调度.数据集成.OLAP等子系统的设计和开发;2.制定和推广数据字典,建立完善的元数据管理规范,负责数据质量监控设计;3.搭建和维护数据仓库表,解决业务人员在仓库系统流程.工具使用.数据处理等遇到的问题;。5.基于对数据的理解和业务需求,对数据进行整理.分析和挖掘。任职资格:1.计算机相关专业本科及以上学历,有2年以上数据仓库.ETL工作经验;2.熟悉SQL.Shell等相关技术,有海量数据处理.ETL及任务调度优化.数据仓库建模等经验;3.熟悉Linux环境,了解Java/Python服务端系统开发;4.熟悉Hadoop/Spark/Hive/Hbae等大数据技术者优先;5.逻辑清晰.对数据敏感,良好的沟通能力和协作能力,敢于接受挑战,能够承受压力;
所需技能: 数据仓库、ETL、olap
- 来源:上海行蕴信息科技有限公司
数据仓库工程师
岗位职责:1.根据需求进行数据仓库模型设计,数据的开发;2.负责数据的监控.纠错及优化等数据相关的开发及维护工作;任职要求:1.本科及以上学历,2年及以上开发工作经验;2.至少负责过一个数据仓库相关项目,能够独立完成模块的设计;3.熟悉常见ETL工具Kettle,用ETL工具生产数据抽取.清洗.转换后进入报表平台;4.熟悉Hadoop相关的产品,有Hive开发经验;5.熟悉PotgreSQL.MySQL.Oracle等主流数据库,有开发经验;6.熟悉Linux操作系统,有hell编程经验;7.熟悉机器学习.算法等优先;8.具备优秀的团队协作精神,踏实的工作态度,良好的沟通能力;9.有其它编程经验优先,如Python.Java等;10.熟悉常用的建模工具,如Erwin,Powerdeigner等
所需技能: 数据分析、数据库、数据仓库
- 来源:北京木屋时代科技有限公司
数据仓库工程师
岗位职责:1.负责数据建模以及数据仓库应用产品的设计和开发;2.负责数据仓库ETL流程的优化及解决ETL相关技术问题;3.数据仓库和业务数据集市建设;4.业务模型抽象.数据模型设计开发。任职要求:1.计算机相关专业,本科及以上学历,3年以上开发相关经验,学习能力突出,有大数据开发经验优先。2.精通SQL开发,精通Oracle/MySQL之一。3.熟悉数据仓库分层理论和数据模型设计,如E-R模式和kimball模型设计,有数据仓库从0搭建经验者优先。4.有良好得数据仓库和业务数据集市建设经验,能进行业务模型抽象.并对数据模型进行设计开发5.熟悉Hadoop生态圈,熟悉Hbae.hive.impala,Sqoop.MR等开发,优先考虑6.有团队合作精神,对解决挑战型问题充满激情,能够独立解决项目开发过程中遇到的问题7.有热情,有沟通欲望,相信数据提升业务的能力。
所需技能: 数据仓库、ETL、数据库开发、SQL、分布式技术、MySQL、Oracle、大数据
- 来源:北京罗克维尔斯科技有限公司
数据仓库工程师
岗位职责:1.商业系统相关的数据模型建设工作;2.负责数据仓库搭建.ETL流程的优化及解决相关技术问题;任职要求:1.深入理解常用的数据建模理论,可独立把控数据仓库各层级的设计;2.熟悉Hadoop架构和工作原理,精通Hive或Spark,有调优经验;3.具备较强的编程能力和编程经验,至少熟悉Java/Python一门编程语言,熟悉linux系统,熟练使用Shell;4.3~5年ETL开发经验,理解数据治理的重要性;5.具备一定的数据分析能力,具备数据敏感性和探知欲,专注数据的价值发现和转化;6.具备快速学习能力.沟通协调能力及团队精神,有较强的责任心和学习积极性。7.有实时数仓建设经验者优先
所需技能: 数据仓库
- 来源:杭州面朝信息科技有限公司
数据仓库工程师
工作职责:1.负责数据仓库的数据模型设计和ETL开发2.发掘数据的商业价值,深入电商等业务,探索数据资产变现方法工作内容:1.负责业务线的数据模型设计和开发落地,建立规范化.稳定可靠的数据体系2.通过数据为业务赋能,降低需求方的数据使用成本,设计和开发大数据产品和解决方案发挥数据价值任职要求:1.熟悉企业级数据仓库开发,包括开发规范.维度建模.指标规范,具备成功的项目案例2.Hadoop生态下能熟练使用SQL,熟悉Hadoop/Spark/Hive原理,有Kylin使用经验者优先3.对数据敏感,具备较好的数据分析意识,具备数据驱动业务的能力4.熟悉主流的互联网数据平台,以及由数据衍生的各种产品
所需技能: 数据仓库、ETL、SQL、分布式技术、Hadoop、Spark、大数据、电子商务
入门书籍
- Python编程
- MySQL5.7从入门到精通
- 概率论与数理统计
- 财务管理分析
职业晋升路径
横向职业发展
职业问答
以目前发展状态来说,国内数据分析师工作可以分为以下几大类:
1、日常数据统计指标分析;
2、数据波动分析;
3、指标体系构建及报表建设;
4、KPI 指标拆解和北极星指标趋势预测;
5、AB 测试设计及结果分析;
6、因果分析;
对于刚入门的分析师,前两项最为常见,业务方需求描述多为:我想看看这个数的均值,我想看看那个数的中位数,我想看看这些明细数据等等;或者就是这个指标跌了,你给看看怎么回事?那个指标涨了,你看分析一下怎么回事?也就对应问题所说,只涉及 sql 和可视化。从这方面看,楼主还是比较认真,其实这些问题不用可视化也能解决,就是描述起来没那么直观罢了!
但是,但是,作为一名分析师,如果你想有一个光明的前途,好的发展。千万千万不要被这两个方面的需求占满时间!一定一定要把时间逐渐转移到 3 到 6 这些需求上,这才是作为分析师的核心竞争力,没有核心竞争力,那就永远是取数机,而且最近我们在研究应用图神经网络与数据库交互,实现自助取数功能(大概意思就是,业务方的需求直接跟机器说,机器直接自动取数),这必然对国内大量取数机分析师造成巨大的冲击!
如果你要问,如何从这些取数需求中走出来,那么我这里简单给你提供几条捷径:
1、移花接木:招实习生,让实习生做;
2、给予颜色:问业务方为什么?跟她讨论这些有用吗?不重要的需求排期很久,让它自然消失!跟业务方讨论时候切记一点,抛弃自己数据分析师的职位,不要谈数据,只谈业务,只盘逻辑,让她心服口服的取消需求!
3、一劳永逸:完善数据报表和数据产品,让业务方自助。
当然,脱离这些需求不是为了摸鱼,主要是要培养分析师的核心竞争力:业务逻辑,业务框架结构,问题分析思路,应用统计理论以及数据挖掘能力。
有剑在手不用和没有剑完全是两码事!!!
文章搬运自公众号:人人都是数据分析师,一个数据分析师都应该关注的公众号。