AMAZING RESUME
牛敬业
188****2700niu****@***.com北京30男ETL大数据运维工程师在职北京20k-30k •在《分布式系统》课程中，基于Raft共识算法实现了一个高可用的键值存储引擎，深入理解了数据复制、Leader选举与脑裂处理对生产环境运维的启示。
•作为队长率队参加“华为杯”大数据挑战赛，主攻数据清洗与流批一体处理，运用Spark Structured Streaming和Alluxio加速层，在华中赛区斩获二等奖，锤炼了数据管道排障与性能调优的实战能力。
•毕业设计《基于Flink的实时物流订单追踪系统》从Kafka、Pulsar双通道接入数据，构建了Exactly-Once语义的实时数仓，并自研了断点续传与数据质量监控子模块，保障端到端延迟低于500ms，直接沉淀为大数据运维的底层方法论。
ETL大数据运维工程师流批一体数据管道治理质量监控平台
北京
•主导美团外卖业务数据中台的ETL作业全生命周期管理，重构了用户行为日志的采集与清洗链路，引入流批一体处理框架，将端到端延迟从小时级压缩至分钟级。
•搭建了基于动态规则引擎的数据质量监控体系，自动捕获字段缺失、格式异常与业务逻辑矛盾，推动数据质量达标率从不足95%提升至99.5%。
•与数据产品团队协同梳理商家画像与骑手调度核心指标，设计星型模型与缓慢变化维，支撑了20+实时运营看板的上线。
•组织编写了《ETL开发规范与故障排查手册》，带领新人快速上手，并定期开展SQL优化与Spark调优培训，提升团队整体运维能力。
•参与腾讯新闻数据仓库的ETL架构设计，负责从客户端埋点、服务端接口等异构数据源到统一数仓的集成，日均处理数据量达TB级。
•开发了基于Python与Hive的通用数据清洗脚本，将内容分发、用户互动等主题的原始日志转化为结构化宽表，数据准备时间缩短50%。
•负责ETL作业的日常巡检与故障恢复，通过引入熔断机制与自动重试策略，将夜间核心任务失败率降低至0.1%以下，保障资讯推荐模型的训练数据准时产出。
•深入沟通内容运营与算法团队的需求，优化了内容标签、用户兴趣等维度的提取逻辑，使数据对推荐策略的A/B测试更具可解释性。
用户全生命周期数据平台ETL建设 - ETL核心开发
2019.05-2020.03
•参与美团用户增长数仓项目的ETL模块开发，负责从用户注册、活跃、消费到流失全链路的离线和实时数据接入。
•设计并实现了基于Flink的实时ETL管道，打通了客户端埋点、交易系统与CRM系统的数据，每日处理增量数据约800GB。
•采用增量合并与快照对比策略，构建了用户状态变化表，消除重复数据并保留完整演变历史，大幅降低了下游分析人员的取数成本。
•开发了多维度的数据校验规则，包括主键唯一性、外键关联完整性和业务漏斗一致性，确保用户画像标签的准确率。
•项目上线后，用户留存分析报表的产出速度提升60%，支撑了精细化运营策略的快速迭代。
•负责腾讯社交风控系统的日志ETL开发，从终端设备指纹、行为序列等海量日志中提取风险特征。
•设计了基于正则与状态机的日志解析器，将非结构化文本高效转化为结构化字段，单节点解析吞吐达到每秒5万条。
•实现了Lambda架构的ETL方案：Kafka流处理实现秒级实时视图，Hive批量任务补全历史趋势，同时满足实时预警与离线模型训练的双重需求。
•通过分区裁剪与ORC文件格式优化，将历史日志的扫描成本降低70%，为风控算法的快速调优提供了灵活的数据环境。
我始终对数据管道的稳定与高效运转抱有近乎偏执的追求，习惯主动监控、预判瓶颈，把保障数据新鲜度看作运维工作的底线。具备严谨细致、抗压且善于追根溯源的工作风格，在复杂链路中能快速定位异常并推动修复。技术栈围绕 Hadoop、Spark、Kettle 等生态展开，擅长 ETL 流程设计与性能调优，对数据一致性有洁癖。曾深入参与数据仓库从 0 到 1 的搭建，理解分层建模与数据治理，希望在一个重视数据基石价值的团队里持续深耕。
数据可信度洁癖:
把数据可信度视为运维的底线，在关键链路强制埋点，用SQL快照和Delta Lake的Time Travel定期比对源表与目标表的一致性，一旦检测到漂移，立即通过企业微信分级告警并冻结下游任务，确保数据资产可审计、可回滚。
推崇一切皆可观测的理念，为每一条ETL作业注入心跳日志和延迟指标，在Grafana上搭建数据管道健康度大屏，使得平均故障发现时间（MTTD）缩短了60%，并联动自动化重跑机制降低MTTR。
业余时间编写了《数据质量红宝书》内部Wiki，沉淀了常见数据异常SOP和根因分析模板，将“救火式”运维转变为“防火式”治理，推动团队形成数据质量责任共担的文化。
