职位描述： 1.负责线上大数据集群的日常运维、监控预警,保证稳定性、安全性; 2.负责大数据集群的搭建和后续维护; 3.负责解决线上大数据技术及运维相关的问题; 岗位要求 1.熟悉大数据产品生态圈，熟悉基于hadoop生态（hbase、hdfs、spark、kafka等） 2. 熟悉大规模数据处理、分布式计算等相关技术，如Hadoop 、Hive、Spark、MapReduce等更佳。 3. 熟悉HDFS、 HIVE、 KAFKA、ZOOKEEPER、 SPARK、FLINK等大数据软件体系架构及源码，了解核心组件内部原理。 4. 有大数据系统项目经验，有海量数据处理和分析经验，了解如何搭建分布式处理系统。 5. 熟悉实时计算引擎，掌握Spark、Flink等至少一个实时组件开发、部署、性能调优。 6. 了解云原生技术，对k8S，Docker等有实际的项目经验，对微服务架构有一定的实践经验 7. 有基于大数据平台的数据治理、 作业调度、大数据开发套件等大数据平台应用组件的设计开发经验优先 8. 熟悉数据资产管理思想，如：元数据管理、数据血線、指标管理、数据质量、数据安全等，有实际的产品落地经验者优先