工作职责:
岗位职责:
1、对大数据平台hadoop核心组件(zookeeper、hdfs、yarn、mapreduce、hbase、hive等)进行运行状态监控、性能指标监控等,针对遇到的问题进行分析、故障定位及处理。
2、对大数据平台告警日志进行监控分析,并根据告警信息的内容以及平台给出的解决方案进行故障定位及处理,热点问题应形成知识库归档。
3、对分布式数据库的运行状态、资源使用情况进行监控,发现问题及时进行相应的处理。
4、根据大数据平台组件资源的使用情况,进行扩容、缩容操作,以对资源进行调整优化。
5、保证大数据集群高可靠性、高可用性。
6、根据用户的需求进行用户分配、权限分配、资源申请分配等资源管控操作。
任职资格:
任职要求:
1、熟练使用linux操作系统,具备Shell脚本编写能力;
2、熟悉Hadoop生态圈,如ElasticSearch、Spark、HDFS、HBase、Hive、MapReduce、Kafka、Redis等,具有hadoop运维工作经验者优先;
3、熟悉oracle、mysql等主流关系型数据库的原理,能够尽心基础的参数优化,以及日常的数据备份恢复等工作
4、熟悉redis、mongodb等非关系性数据库,能够搭建各种集群,以及日常的数据备份恢复等工作
5、熟悉grafana+prometheus等监控系统,能基于监控系统进行日常巡检运维预警
6、了解系统安全常用的架构体系,熟悉ddos,cc等攻击,有防护经验者优先
7、了解MPP分布式计算架构;
8、对网络和存储有一定的了解;
9、熟悉java、python等编程语言;
10、有2年左右经验即可。