AMAZING RESUME
牛敬业
ETL数据平台运维工程师
常怀探索之心,以实干沉淀自身价值
188****5445niu****@***.com北京30男ETL数据平台运维工程师在职北京15k - 25k •在校期间系统学习了云计算架构、分布式存储、数据库调优等课程,并加入校级数据智能实验室,参与基于 Spark 的校园消费行为分析项目,通过设计数据采集脚本与清洗规则,将多源异构数据(刷卡、App 日志)统一接入数据仓库,锻炼了大规模数据处理的工程思维。
•作为队长带队参加全国大学生计算机设计大赛,负责搭建实时数据同步通道与 ETL 作业调度,实现校园教学设备运行状态数据的分钟级汇聚与异常检测,作品获得国家级三等奖,积累了在限时交付场景下保障数据链路稳定性的实战经验。
北京星云数据科技有限公司 - 基础平台部金融科技数据驱动
2016.07-2019.12
ETL数据平台运维工程师平台运维性能调优监控告警
北京
•负责企业级ETL数据平台的日常保障与故障响应,支撑金融风控、用户画像等多个业务线的数据准实时供应,确保平台SLA达到99.95%。
•搭建全链路监控告警体系,覆盖数据抽取延迟、转换异常、加载失败等场景,日均处理告警200+条,将平均故障恢复时间(MTTR)压缩了35%。
•主导作业性能调优专项,通过拆分大作业、优化SQL逻辑、调整并行度与内存参数,使核心作业平均执行时长缩短25%,月度计算资源消耗下降18%。
•协同数据开发与数仓团队,参与数据质量校验规则引擎的落地,实现了空值、重复、格式错误等10类常见问题的自动拦截与告警,数据质量问题发现率提升60%。
北京腾云信息技术有限公司 - 数据平台中心人工智能高成长企业
2020.01-2022.12
高级ETL数据平台运维工程师架构升级数据治理团队管理
北京
•主导公司新一代分布式ETL数据平台的架构升级,将原有单体调度改造为多集群协同架构,支撑日处理数据量从30TB增至120TB,平台可用性提升至99.99%。
•牵头建立数据治理运营机制,发布数据标准与生命周期管理规范,组织数据资产盘点,推动历史数据归档与冷热分层,使存储成本降低25%,数据质量问题发生率下降45%。
•带领5人小组完成核心业务数据迁移专项,将CRM、交易系统等异构数据源迁入新平台,涉及数据量80TB,全程零数据丢失,提前10天完成交付,获得公司级技术突破奖。
•重构数据备份与容灾体系,引入增量备份与多副本策略,将全量备份窗口从6小时缩至2.5小时,关键业务数据恢复时间控制在1小时内,成功通过两次年度容灾演练。
实时风控数据ETL链路优化项目 - ETL优化负责人
2017.05-2017.12
•该项目针对实时风控系统的数据供给链路进行端到端性能优化,目标将数据延迟从分钟级降至秒级。
•通过火焰图分析与查询日志审计,定位到数据转换阶段的复杂正则运算与多表关联成为瓶颈。
•重构数据转换逻辑,将部分计算前置到数据源端,并引入Spark Streaming进行流式处理,使数据到达时间从平均180秒缩短至25秒以内。
•设计并部署了数据质量实时校验机制,对关键字段进行非空、格式、阈值异常检测,异常数据自动隔离并通知,问题响应时效提升75%。
•优化后,平台整体吞吐量提升40%,成功支撑了业务风控规则的快速迭代,获得业务部门高度评价。
企业级数据中台ETL数据集成项目 - ETL开发工程师
2020.03-2020.09
•参与集团数据中台建设,负责面向CRM、ERP、IoT设备日志等异构数据源的统一集成方案设计与落地。
•设计并实现了一套可配置化的数据抽取框架,通过插件化方式支持JDBC、Kafka、FTP等多种数据源协议,提升数据接入效率。
•构建数据清洗与标准化组件库,包含日期格式统一、空值处理、字典映射等20余种通用规则,确保数据满足数据中台模型规范。
•优化数据加载策略,针对大表采用分区并发写入,对实时性要求高的数据链路采用微批处理模式,日均加载数据量由12TB提升至18TB。
•项目上线后,为下游营销分析、供应链优化等场景提供了稳定可靠的数据底座,加速了公司数据驱动决策的进程。
我对数据管道的健壮与效率有天然的执着,乐于在复杂的ETL链路中寻找最优解,把每一次故障排查都当作与系统对话的机会。养成了严苛的质量意识与溯源习惯,宁可多一道校验也不让脏数据流入下游。持续折腾自动化调度、监控与自愈方案,对平台隐患保持敏锐嗅觉。技术栈覆盖流批处理与主流调度引擎,能用代码思维把重复性操作变成可复用的工程能力。沟通中习惯用数据说话,希望能在一个重视数据价值的团队里,把运维做成一种安心保障。
数据治理与质量保障:
熟悉数据生命周期管理、数据血缘追踪与数据质量监控等治理实践,曾参与 ELT 平台数据质量稽核模块的设计,通过配置字段级校验规则(如空值率、格式合规)对 ETL 产出表进行自动化巡检,异常数据实时告警,上线后核心数据质量问题发现率提升 40%。