岗位职责
1.负责基于业务需求进行数仓建模,结合数据、技术与应用等多方特性,构建高可用、易扩展的数仓体系,高效满足业务用数诉求。
2.负责收集、分析数据加工需求,明确需求优先级及加工排期计划,协调资源分配,确保数据加工任务按时完成。
3.负责基于业务需求编制数据加工方案,并进行相关ETL设计与开发。
4.负责数据加工任务的分配、调度和监控,保证任务高效执行;跟踪任务进度,处理异常情况,优化任务流程以提高数据处理效率。
5.负责依据规范开发标准化数据服务接口。
岗位要求
1.硕士以上学历,国内外重点院校,计算机、大数据、金融经济等相关专业优先;在数据要素行业有经验者优先。
2.具有大数据研发经验,包括实时/离线数据处理、数据建模、ETL开发、数据治理等
3.熟练掌握HiveSQL、Python、Java等至少两种语言和工具,要求有实战经验。
4.掌握大数据处理架构(如 Hadoop、Spark 等),熟悉主流数据采集工具(如 Flume、Sqoop等)、清洗转换技术(如 Informatica、Kettle等),要求有实战经验。
5.熟悉ClickHouse、StarRocks等OLAP引擎,了解系统原理,要求有实战经验。
6.具有华为云、阿里云等云平台的使用经验。
具备一定项目管理能力,能够合理安排及协调资源,保障数据加工工作按期上线。