牛敬业
188****0427niu****@***.com北京30男Hadoop云平台开发工程师在职北京25k-35k •主修课程覆盖分布式存储、云计算导论、大规模数据处理等,完成基于Hadoop生态的校园电商用户行为数据仓库设计,作为课程核心项目并获评院级优秀实训案例。
•加入数学建模与算法协会,参与全国大学生算法设计与编程挑战赛,通过高并发场景模拟训练提升了性能调优与工程落地能力,获得区域赛一等奖。
Hadoop云平台开发工程师平台架构演进自动化运维超大规模数据处理
北京
•- 负责字节跳动内部数据中台Hadoop组件的架构演进,重构存储与计算分离方案,使平台资源利用率提升了40%。
•- 设计并实施自动化运维体系,将集群故障恢复时间缩短70%,并主导节点扩容、监控告警等日常管理,保障核心服务99.9%可用性。
•- 深入支持广告与推荐业务团队,基于HDFS与Hive构建多层数据管道,日均处理PB级用户行为数据,确保数据流时效性。
Hadoop云平台开发工程师实时计算成本优化分布式一致性
北京
•- 主导美团大数据平台向实时化演进,落地Kafka+Flink技术栈,将核心报表延迟从小时级降低到分钟级。
•- 重构Spark作业调度框架,实现弹性伸缩与资源动态分配,全年节省约30%的云计算资源成本。
•- 带队攻克跨机房数据同步与高并发一致性问题,设计分布式锁与幂等机制,保障外卖核心业务指标数据准确性。
•- 该项目为某在线旅游平台构建基于Hadoop的用户行为分析系统,用于挖掘用户偏好与行程意图。
•- 作为核心开发者,负责数据采集与存储层的设计,使用Kafka+Flume实现浏览、搜索、下单等行为事件的实时接入,日均采集量600GB。
•- 设计多层清洗与聚合流程,通过Spark Streaming对原始数据进行去重、补全与会话切分,输出高质量的用户事件流。
•- 基于Hive+ClickHouse搭建分析模型,为运营团队提供热门目的地、用户画像与流失预警报表,助力个性化推荐,推动平台转化率提升18%。
•- 参与某保险公司的大数据风险评估平台建设,负责Hadoop生态链路的开发与优化。
•- 设计冷热分层存储方案,将历史理赔数据存入HDFS,近期数据缓存于Alluxio,降低存储成本并提升读取速度。
•- 利用Flink开发实时欺诈检测引擎,结合规则引擎与机器学习模型,对理赔申请进行毫秒级风险评分。
•- 与精算团队协作,将欺诈评分结果集成至业务系统,成功将高风险案件识别率提升30%,有效降低赔付风险。
对大数据平台构建有天然热情,喜欢深入理解 Hadoop 生态组件底层机理,把集群稳定和资源高效利用当作一种职业本能。保持代码洁癖与工程严谨性,擅长在复杂场景下做性能调优和容量规划,对高可用设计有持续追求。平时主动跟进版本演进与最佳实践,能快速将业务需求转化为可落地的技术方案,期望在云平台开发岗位上持续打磨更可靠的数据基础设施。
技术社区与开源贡献:
向Apache Hadoop社区提交了HDFS数据块均衡策略的改进补丁,并独立维护了YARN多租户资源监控与可视化面板,累计获得280+ Star,被多个企业级调度平台集成。