AMAZING RESUME
牛敬业
ETL开发运维工程师
常怀探索之心,以实干沉淀自身价值
188****2384niu****@***.com北京30男ETL开发运维工程师在职北京20k-30k •参与校级数据仓库构建项目,负责ETL流程设计与数据清洗,熟练运用Python与SQL完成异构数据源整合。
•开发小型数据库管理系统,实现索引优化与事务处理,锻炼了后端开发与系统调优能力。
北京数联科技有限公司 - 数据技术部数据智能企业服务
2016.07-2019.12
•参与构建企业级数据中台,负责从ERP、CRM等异构数据源抽数,每日处理数据量超8TB,并实现关键任务的全链路监控。
•通过引入依赖调度策略,使作业并发度提升40%,整体ETL耗时缩短25%。
•协同数仓建模工程师,设计维度表和事实表,制定数据质量标准,落地数据校验规则。
•撰写《ETL操作规范》与《常见问题排查手册》,并组织内部技术分享,提升团队运维能力。
云帆数据技术有限公司 - 数据工程中心行业领先技术创新
2020.01-2023.06
高级ETL开发运维工程师数据架构流批一体数据治理
北京
•主导金融风控部门的数据管道建设,负责多个反欺诈模型的实时数据供给,推动项目按期上线。
•基于Flink与Kafka重构离线+实时混合架构,使数据消费延迟从分钟级降至秒级,吞吐量提升60%。
•搭建数据质量监控平台,实现字段级异常告警,将数据不一致率控制在0.05%以内。
•定期对集群进行压测与扩容规划,确保99.99%的可用性。
•参与构建客户数据平台(CDP),从App埋点、订单系统、广告投放平台等渠道抽取用户行为及交易数据,支撑精细化运营。
•开发用户标签加工流水线,基于Spark实现RFM分层、偏好打标等逻辑,处理字段超200个。
•将结果数据以分区方式写入Hive,每日增量5.5TB,满足下游分析师自助查询需求。
•主导仓储物流数据集成优化,针对原有离线T+1延迟问题,重构数据抽取链路,采用Canal监听MySQL Binlog实现实时采集。
•开发通用数据清洗组件,支持动态规则配置,减少重复代码量。
•改用流式写入Doris,实现毫秒级更新,将看板数据刷新延迟从2小时压至分钟级。
对数据流动的准确性与稳定性有近乎偏执的追求,享受从杂乱到有序的管道搭建过程;习惯用代码和工具守护数据质量,对每个环节的异常保持敏感,并有快速定位根因的韧性。熟练结合Informatica、Kettle与大数据生态组件进行高效运维,重视自动化和可观测性,让系统在沉默中可靠运行。主动沟通、乐于协作,但更习惯用严谨的监控与规范来减少不必要的沟通成本。希望在一个同样敬畏数据的环境中,持续打磨稳定、干净的ETL体系。
数据仓库建模:
掌握电商场景下的维度建模,独立设计订单主题的事实表与维度表,并处理缓慢变化维与快照策略。
能够根据分析需求重构模型粒度,平衡查询性能与存储开销,保障下游报表的响应效率。