AMAZING RESUME · SOFT RADIUS
牛敬业
Hadoop大数据开发工程师
188****7464niu****@***.com北京28男Hadoop大数据开发工程师在职北京20k-30k •主导完成《大规模分布式系统》课程项目,使用Hadoop实现跨地域日志聚合分析,获课程最高分
•参与校级数据科学挑战赛,带队开发用户行为预测模型,在32支队伍中取得第3名成绩
•担任计算机学院技术社团副社长,组织10+场大数据技术分享会,培养20余名新人
Hadoop大数据开发工程师分布式存储优化实时计算架构成本治理
北京
•主导电商平台数据中台底层架构升级,基于Hadoop重构离线计算引擎,支撑日均2000亿级事件日志处理,核心任务SLA达标率提升至99.7%
•设计混合云存储策略,将冷数据迁移至Object Storage使集群存储成本降低35%,同时通过Spark Shuffle优化将任务平均耗时压缩40%
•搭建自动化运维监控体系,集成Prometheus+Grafana实现集群指标可视化,故障定位效率提升3倍
Hadoop大数据开发工程师实时计算架构数据湖设计资源调度优化
北京
•负责金融科技反欺诈系统数据底座建设,构建覆盖信贷、支付、保险业务的统一数据湖,存储容量突破800TB
•研发基于Flink+Kafka的实时特征工程平台,实现毫秒级风险指标计算,欺诈交易识别时效性提升至秒级
•设计动态资源调度机制,根据业务峰谷自动伸缩计算节点,使资源利用率提升55%且保障业务连续性
•针对1200+连锁门店供应链数据构建实时分析体系,日处理POS流水、库存变动等数据超8TB
•基于Spark Streaming开发动态库存预警模型,通过时间序列预测使缺货率下降22%,滞销损耗减少18%
•设计多级缓存架构,将核心指标查询响应时间控制在200ms内,支持门店端秒级数据看板
银行核心系统日志智能审计平台 - 大数据开发工程师
2021.01-至今
•构建覆盖信贷、支付等12个业务系统的统一日志采集链路,日处理结构化/非结构化数据达15TB
•开发基于ELK+Hadoop的异常行为检测引擎,通过规则引擎+机器学习识别可疑操作,误报率降至3%以下
•实现日志全生命周期管理,设计冷热数据分层存储策略使存储成本节约40%
常怀探索之心,以实干沉淀自身价值。对分布式计算架构有天然热情,痴迷于通过数据流转解决复杂业务问题,习惯用代码洁癖保障数据处理精度。具备扎实的Hadoop生态实战经验,擅长在资源受限环境下设计弹性扩展方案,曾主导构建跨中心数据同步机制使灾备恢复时间缩短60%。注重技术文档沉淀,建立部门级故障排查知识库被推广至3个业务线,期待在实时流处理领域持续深耕。
技术社区贡献:
在Apache Spark社区提交Memory Management相关PR,优化Executor内存分配策略使作业失败率降低15%
撰写《生产环境Hadoop集群稳定性建设指南》获技术峰会最佳实践奖,阅读量超50万次