工作职责：

岗位职责：
1、基于数据平台，完成数据采集、复杂数据清洗、存储等开发工作；
2、基于数据进行数据建模统计查询以及数据报表分析；
3、精通sql，对业务部门的数据分析需求给予实现与支持；
4、负责业务大数据的开发工作，对数据治理全生命周期进行跟进，结合业务需求设计数据分析场景，并形成后台实现方案，提高整个平台的计算能力和效率；
5、优化Hadoop yarn/Storm/Spark 参数，实现系统调优，满足行业应用的实时大数据处理需求。

任职资格：

任职要求：
1、精通计算机原理，熟练掌握Java/scala/python等开发语言，熟悉常用设计模式；
2、精通离线数据分析，熟练掌握Hadoop、Hive、flume、Spark、flink、Sqoop、Azkaban、kafka等技术并具有相关项目经验；
3、熟悉常用的关系型数据库、精通SQL语法，并具备SQL分析调优能力；
4、熟悉实时数据计算，熟练掌握Kafka、SparkStreaming/Flink、Kudu、Impala、Hbase等技术框架；
5、熟悉shell/python等脚本语言；熟悉flink开发以及对scala有深度理解，有实时数仓经验者优先;
6、对数据仓库和数据治理有较深的理解。