牛敬业
188****0091niu****@***.com北京30男ETL软件工程师在职北京20k-30k •获校级数据库系统设计竞赛一等奖,负责异构数据源清洗模块,设计标准化 ETL 流程处理非结构化日志。
•构建校级数据中台原型,打通图书/选课/消费数据库,实现 T+1 批量数据同步与一致性校验,覆盖 3 个主要业务线。
•完成基于 Hadoop 生态的日志挖掘毕设,搭建 Kafka-Flume-HDFS 链路,实现海量实时数据的可靠采集与存储。
ETL软件工程师数据管道设计合规数据治理实时流处理
北京
•重构医疗行业数据中台ETL架构,通过引入分布式计算框架将数据处理时效提升至分钟级
•设计多源异构数据清洗规则引擎,支持结构化与非结构化数据自动识别与标准化
•主导HIPAA合规数据迁移项目,建立全流程审计追踪体系,覆盖日均800万患者数据
•搭建智能调度监控系统,实现ETL任务自愈与异常预警,将运维成本降低40%
北京数据通网络技术有限公司 - 数据智能部跨境电商企业
2020.07-至今
资深ETL软件工程师跨域数据整合智能数据校验数据资产化
北京
•构建跨境电商全渠道数据融合平台,打通海外仓储、支付、物流等12个业务系统数据流
•研发自适应数据质量校验框架,动态适配不同地区业务规则,支持TB级数据实时校验
•推动数据资产目录建设,建立业务术语与物理模型映射体系,提升跨部门协作效率60%
•设计数据血缘追踪系统,实现从源系统到分析报表的完整链路可视化
某物流平台数据中台ETL项目 - ETL开发工程师
2018.01-2018.12
•构建物流全链路数据管道,覆盖运单/车辆/仓储三大核心业务域
•实现GPS轨迹数据秒级清洗与地理编码转换,支撑实时路径优化算法
•设计订单状态机转换规则,处理日均千万级订单的复杂状态流转
•采用Flink+Kafka架构保障跨境物流数据跨时区实时同步
•设计高频交易数据清洗流水线,处理毫秒级行情数据异常值检测
•构建合规数据归档系统,实现监管报表数据可追溯至原始交易记录
•开发动态分区策略,根据交易时段智能调整数据存储结构
•建立数据质量评分体系,自动拦截异常交易数据流入分析层
对数据管道优化有天然热情,习惯从源头构建可追溯的数据链路,追求毫秒级响应与零误差交付。擅长在复杂业务场景中搭建弹性数据架构,对数据质量管控具有近乎强迫症般的严谨。熟悉实时流处理与批处理混合架构,能独立完成跨系统数据治理方案设计。期待在数据工程领域持续深耕,用代码构建企业级数据底座。
流处理引擎(Flink/Kafka Streams) 云原生ETL架构(Airflow/Databricks) 数据质量监控(Great Expectations) 数据管道稳定性治理:
研发基于 Prometheus 的任务运行状态追踪系统,实时捕获 ETL 作业失败节点,故障定位时间缩短 50%。
制定数据质量稽核规则,针对空值率、唯一性指标建立自动阻断机制,确保下游报表数据准确性。