
AMAZING RESUME
牛敬业
数据仓库数据集成工程师
188****0558niu****@***.com北京32男数据仓库数据集成工程师在职北京20k-30k •在分布式数据库课程中,主导设计并实现了一个跨机房的 MySQL 分库分表同步方案,将 6 个源库的订单数据实时汇聚到 ClickHouse 分析层,解决了多源异构数据的集成与一致性问题,写入延迟控制在 2 秒以内,支撑了校内数据竞赛的实时看板需求。
•曾担任院级数据应用竞赛队长,带领 5 人团队完成“校园行为数据仓库”构建,基于每日 20GB 的日志与业务库数据,设计星型模型并搭建 ETL 流水线,使用 SQL 完成用户画像宽表开发,最终产出分析报告获得校级优秀实践奖,锻炼了数据建模与跨团队联调能力。
万联数科(北京)有限公司 - 数据技术部行业领先企业
2013.07-2017.12
数据仓库数据集成工程师数据建模多源异构集成ETL开发
北京
•负责企业数据仓库分层建模与 ETL 链路设计,每日处理超 5TB 的在线交易与日志数据,通过设计星型模型与分区裁剪策略,将核心报表查询耗时从 12 秒压缩至 3 秒以内。
•主导与电商平台、供应链系统、客服工单等 6 个业务源的对接,每月完成约 200 万条订单、库存、售后数据的集成,建立数据校验规则库,确保源端与仓端一致率不低于 99.8%。
•编写数据清洗与标准化脚本(Python+Shell),自动识别并修复空值、重复、格式错误等问题,将因数据质量问题导致的业务投诉下降 70%。
•与运营、财务团队深度协同,梳理 30 余项核心指标口径,搭建自助式 BI 看板,支撑周度经营分析会,使数据需求响应周期从 3 天缩短至半天。
智联云创(北京)科技有限公司 - 大数据中心知名互联网企业
2018.01-2022.06
高级数据仓库数据集成工程师团队统筹数据治理性能调优
北京
•带领 5 人小组承接集团级数据中台改造项目,覆盖电商、物流、金融 3 大业务板块,制定分阶段交付计划,通过每日站会与风险预警机制确保里程碑提前 2 周达成。
•引入 Apache DolphinScheduler 与 DataX 重构原有 ETL 调度,将全链路数据集成时间从 8 小时缩短至 2 小时,并实现失败任务自动重试与告警。
•针对日渐臃肿的查询负载,对高频 SQL 进行执行计划分析,重构 20 余条慢查询,增设复合索引与物化视图,使财务对账模块的查询响应时间从 45 秒降至 5 秒。
•建立数据质量 PDCA 闭环:定义完整性、准确性、及时性等 6 项标准,部署自动化稽核任务,每月输出《数据健康度报告》,推动业务源头系统纠错,核心指标准确率由 97.2% 提升至 99.6%。
•参与公司新一代零售数据中台建设,主导数据集成方案设计。该平台需对接线上商城、线下 POS、会员 CRM 等 12 个数据源,采用 Canal+Debezium 实现增量日志捕获,配合 Kafka 构建实时管道,将销售数据同步延迟控制在 1 分钟以内。
•为解决跨系统订单状态不统一的问题,开发数据一致性比对引擎,每天凌晨自动校验 80 万条订单记录,自动生成差异修复工单,使财务对账差异率从 0.5% 降至 0.02%。
•平台上线后,支撑了营销、供应链、财务等 7 个部门的日常取数,近百个核心指标查询效率提升 4 倍以上,并作为数据底座支撑了后续的精准营销项目。
•在数据湖仓一体升级中,负责数据仓库的存储与计算引擎迁移。随着业务数据年增长 120%,原有架构已无法支撑,主导将 8 个历史分区迁移至 OSS 外存,并利用 Presto 实现联邦查询,节省存储成本 35%。
•重新设计数据集成缓存层,引入 Redis 存储热数据字典与维表,避免每次 ETL 任务全量拉取,将每日增量集成耗时从 4 小时缩短至 1.5 小时,并降低源库读压力。
•该项目使数据平台能够无缝拓展支持新收购子公司的数据接入,通过数据驱动选品与库存优化,助力新业务线半年内 GMV 增长 28%。
我始终相信,数据集成管道的可靠性是业务智能的基石,因此对数据流动的完整性与一致性有一种近乎偏执的责任感。习惯用严谨、耐心的态度拆解复杂的业务逻辑,沉淀为可维护的数据模型与高效的 ETL 流程,并在每一次校验中守住数据质量底线。善于通过监控与自动化手段提前发现风险,保障端到端的数据服务稳定。乐于在技术与业务之间充当桥梁,用简洁的语言对齐期望,并持续吸收新思路以提升数据系统的韧性,希望以数据工程师身份持续打磨有秩序的数据底座。
实时数据集成与数仓实践:
使用 Flink CDC 与 Kafka 构建多源数据库实时采集链路,将 MySQL 和 PostgreSQL 的变更数据实时同步至数据湖,在日均 5TB 的业务库同步场景中,通过 Schema Evolution 自动适配表结构变更,保障了下游数据仓库的准实时更新,同时将数据延迟从小时级压缩至秒级。