教育经历

北京大学 - 本科985

2013.09-2017.06

计算机科学与技术

•核心课程涵盖分布式存储原理、海量数据算法设计、Hadoop生态组件原理等内容，成绩位列专业前12%，实验课独立完成5节点Hadoop集群的部署与基础任务调优，熟悉核心组件的运维逻辑

•组队参加全国大学生智能互联创新大赛，负责离线批处理数据管道的开发，基于MapReduce框架设计数据清洗与聚合逻辑，处理单日千万级日志数据的效率较基线提升35%，最终斩获省级一等奖

工作经历

美团 - 数据平台研发部本地生活平台

2017.07-2020.12

Hadoop大数据工程师分布式存储架构实时计算优化数据治理设计

北京

•主导某金融科技公司Hadoop集群扩容项目，设计跨机房容灾架构，支撑200+节点动态调度，实现单节点故障恢复时间控制在8分钟内

•重构核心交易系统日志处理链路，采用Spark Structured Streaming替代传统批处理模式，使日处理量从8TB提升至12TB，延迟降低40%

•建立数据质量监控体系，通过自定义UDF实现多维校验规则，将脏数据识别率从65%提升至92%，支撑风控模型准确率提升9%

阿里健康 - 医疗数据工程组数字医疗平台

2021.01-至今

Hadoop大数据工程师数据中台架构资源调度优化存储引擎升级

北京

•设计并实施某连锁医疗机构Hadoop数据中台，构建患者主索引系统，整合5个业务系统异构数据源，实现跨院区数据实时同步

•优化YARN资源调度策略，引入Fair Scheduler动态分配机制，使GPU集群利用率从41%提升至67%，支撑影像AI训练任务高效运行

•主导数据湖架构升级，采用Iceberg+Spark实现分层存储与版本管理，使历史数据回溯查询效率提升3倍，存储成本降低22%

项目经历

智能电网负荷预测系统 - 架构师

2018.05-2019.08

国家电网

•项目背景：为国家电网省级调度中心设计负荷预测系统，支撑新能源并网决策

•技术实现：基于Hadoop构建时序数据湖，使用Kafka+Spark Streaming处理10万+智能电表实时数据，结合时序数据库实现分钟级预测

•成果：预测误差率从12%降至4.8%，支撑新能源消纳率提升17%，系统日处理数据量达1.2PB

跨境电商实时风控平台 - 核心开发

2020.03-2020.10

SHEIN

•项目背景：某跨境电商平台需应对双11期间激增的欺诈交易，要求毫秒级风险识别

•技术实现：采用Flink+HBase构建实时特征工程，通过Hadoop离线训练GBDT模型，实现线上线下模型一致性

•成果：欺诈拦截率提升34%，误杀率控制在0.8%以内，支撑单日处理1.2亿笔交易

技能专长

Hadoop生态

Spark计算引擎

Flink流处理

Kafka消息队列

数据湖架构

荣誉奖项

年度卓越工程师（2020年）

数据平台效能提升奖（2021年）

语言能力

English

其他信息

离线数据链路优化:

深度调研Hive与Spark引擎的执行计划差异，主导完成公司广告业务离线数仓的分层重构，将核心指标产出时效从T+1 3:00压缩至T+1 12:00，同时通过资源隔离方案降低计算集群成本22%

大数据技术传播:

搭建团队内部Hadoop生态技术文档库，累计沉淀20+篇组件使用与排障经验，组织4期线下技术workshop，带动3名新入职同事2周内快速上手Hive数仓开发，缩短新人适配周期50%

1 / 1

牛敬业

188****0134

niu****@***.com

北京

男

Hadoop大数据工程师

在职

北京

25k - 35k

个人总结

对分布式计算领域抱有持久热情，习惯通过底层原理分析解决数据洪流问题。具备系统性架构思维与工程落地能力，在Hadoop生态工具链应用上有深厚积累。擅长用Java实现高并发数据管道，注重代码可维护性与资源调度效率。曾主导多个行业级数据平台重构，习惯将复杂业务需求转化为可量化的技术目标。日常保持对实时计算框架的跟踪研究，愿在数据治理与智能决策领域持续深耕。