职位&公司对比

职位详情

• 宁波
• 3-5年
• 本科

• 大数据

1. 熟悉Java基础 ，能够使用Java语言进行编程开发； 2. 熟悉Linux系统基本操作命令及简单shell脚本； 3. 熟悉使用原生 Apache,CDH 和阿里云服务搭建大数据开发集群； 4. 熟悉hadoop生态系统，HDFBOSS直聘S读写机制，yarn资源管理原理，MapReduce工作原理； 5. 熟悉zookeeper原理，zookeeper和其他组件做分布式协调； 6. 熟悉使用kafka原理和使用方法，kafka数据可靠性,能够熟练配置kafka并调优； 7. 熟悉Maxwell，DataX，FlinkCDC等数据同步组件的基本工作原理，并且能够合理使用它们同步数据； 8. 掌握 Hbase 表结构、存储、Phoenix 关联查询； 9. 掌握Clickhouse列式数据库 原理，使用； 10.熟悉Spark工作流程,spark sql等相关的技术boss栈. 11.熟悉sqoop，datax等同步数据工具的使用，如HIVE/HDFS和RDBMS互导，全量导入，增量导入 12.熟悉Hive构建数据仓库，Hive sql的编写及调优，开窗函数、爆炸函数、自定义函数运用； 13.熟悉使用Flink框架，flink 检查点,flink状态后端的调优,flink sql，flink cep，水位线，窗口等原理； 14.熟练掌握Flume的三个组件和使用方法，能够进行日志数据BOSS直聘的收集、传输、过kanzhun滤等工作，以及自定义拦截器来解决零点漂移的问题； 15.使用Azkaban通过shell脚本将结果数据落地到Mysql业务数据库； 16.熟练使用主流BI开发工具。