•系统学习了数据仓库建模、分布式流处理与任务调度原理等课程,对数据按时序流动与可靠性保障产生了浓厚兴趣。
•作为队长参加全国大学生数据治理挑战赛,基于 Python 和 SQL 设计数据清洗流水线,负责数据抽取、异常值处理与调度编排,最终获得省级三等奖。
•加入校园大数据技术社团,参与校内数据平台建设,使用 Azkaban 编排多源异构数据的定时 ETL 作业,实现每日数据自动汇聚与增量更新。
•毕业设计围绕数据仓库增量加载展开,设计并实现了基于调度系统的批量任务链,通过脚本监控作业执行状态与失败重试,保障了数据产出的时效性。
北京某数据科技有限公司 - 数据开发部数据服务商零售行业数据方案
2015.07-2018.12
ETL数据调度工程师ETL流程设计数据调度优化数据质量治理
北京
•负责公司数据仓库的ETL调度平台搭建,使用Kettle、DataX等工具设计数据抽取与加载流程,保障零售行业销售、库存等核心数据的准时入仓。
•分析数据链路瓶颈,通过调整并行度、优化转换逻辑和分区策略,将关键作业的平均执行时间缩短了35%。
•与业务分析师一起梳理会员、营销等主题域的数据需求,设计星型模型和维度表,支撑了管理层周报和自助分析看板。
•构建数据质量稽核体系,基于DQC规则引擎编写自动化检查脚本,将数据异常发现时间从T+1缩短到小时级,关键数据准确率提升至99.8%。
北京某云计算有限公司 - 大数据中心云计算企业行业数据解决方案
2019.01-至今
资深ETL数据调度工程师团队管理调度架构选型数据容灾
北京
•带领四人小组交付多个大型数据集成项目,客户覆盖保险、物流等领域,协调跨团队资源确保ETL交付节点。
•主导调度工具切换,从Crontab迁移至DolphinScheduler,统一任务编排与监控,使团队整体开发效率提升约25%。
•制定数据灾备与恢复预案,通过快照和异地备份策略,将RPO控制在15分钟以内,RTO缩短至1.5小时。
•推动上下游接口规范化,采用Avro和Parquet格式统一数据交换标准,减少表结构变更带来的耦合问题,数据传输稳定性显著提高。
•该项目为某保险集团构建统一数据中台,我负责ETL调度模块的整体设计与交付。
•设计多源异构数据接入流程,处理来自保单系统、理赔系统、财务系统等20余个数据源。
•采用增量拉取、分区写入和Sort-Merge-Bucket优化技术,日均处理数据量达12TB。
•建立端到端的数据血缘图谱,使业务人员可以自助追踪指标口径,数据可信度与使用效率大幅提升。
某物流平台实时运营数据调度项目 - ETL开发工程师
2019.03-2019.12
•参与某物流平台的实时运营数据调度项目,负责从运单、轨迹、支付等系统抽取数据。
•从Kafka和业务库中实时采集订单、配送状态等数据,通过Flink进行流式ETL处理。
•设计动态路由和脱敏转换规则,将原始报文转换为运营分析所需的宽表结构。
•实现秒级数据延迟的调度管道,支撑大屏监控和实时运力调度,数据延迟中位数控制在3秒以内。
ETL工具(Kettle、DataX、DolphinScheduler)
年度数据中台建设先锋奖(2019年某保险数据项目) 数据管道与调度实践:
熟练使用 Airflow 编排 ETL 任务流,编写 Python 数据质量校验脚本,对异常数据自动告警并触发重跑,曾为校园数据分析项目搭建每日调度监控,确保任务零延迟完成。
独立搭建基于 Linux Cron 的简易多作业调度系统,编写 Shell 脚本监控日志与资源占用,及时发现并通知任务失败,积累了对调度系统稳定性的理解。