牛敬业
188****5015niu****@***.com北京30岁男Hive大数据运维开发工程师在职北京20k-30k •主修数据库原理、分布式系统、数据仓库等核心课程,与团队合作完成“电商用户行为分析”课程设计,使用Hive构建数据清洗与ETL流程,实现多维指标计算。
•加入校数据科学社团,参与校内大数据处理挑战赛,基于Hadoop和Hive对公开数据集进行查询优化,显著提升了复杂SQL的执行效率与调优能力。
•毕业设计为《基于Hadoop生态的日志采集与实时监控系统》,独立部署Hadoop集群,集成Flume与Kafka,完成日志数据的近实时接入与异常检测功能开发。
Hive大数据运维开发工程师离线数仓运维OLAP调优
北京
•负责公司金融风控部门的Hive大数据平台日常运维,涵盖集群监控、容量规划、故障应急响应,保障平台可用性达99.95%。
•参与反欺诈数据仓库的设计与建设,优化分区策略与数据模型,将风险模型复杂查询的响应时间从分钟级压至秒级。
•与风控团队紧密配合,开发基于Hive的实时指标计算脚本,日处理交易流水数据量超过2TB,为决策提供秒级数据支持。
Hive大数据运维开发工程师数据治理ETL流程优化
北京
•负责搭建和维护电商推荐系统的Hive数据测试环境,设计数据生命周期管理策略,通过冷热分层存储使存储成本降低25%。
•开发基于Hive SQL的数据质量监控脚本,针对空值、异常值设定自动化校验规则,使数据异常发现率提升30%。
•编写ETL数据清洗与转换脚本,处理海量用户行为数据,保障数据准确率达99.9%,支撑个性化推荐模型迭代。
金融反欺诈大数据平台建设 - Hive大数据运维开发工程师
2019.01-2019.12
•参与公司金融反欺诈项目的Hive数仓建设,负责从0到1搭建数据分层与模型。
•设计星型数据模型,将交易流水、设备指纹、用户画像等多源数据进行多维建模,方便风控分析师快速关联查询。
•开发Hive数据处理脚本,每天加工交易流水数据量达1TB,输出企业级反欺诈监控报表,助力风控策略迭代。
在线教育大数据分析平台优化 - Hive大数据运维开发工程师
2022.01-2022.06
•负责公司在线教育平台的Hive大数据分析平台优化,主导集群性能调优。
•对Hive集群进行参数调优,调整内存分配、并发度及压缩算法,使ETL任务吞吐量提升50%。
•优化数据存储结构,采用ORC+Snappy压缩,并重构表分区策略,使复杂查询响应时间从25秒降至8秒以内。
对数据平台稳定性有近乎偏执的追求,喜欢深入Hive引擎底层排查瓶颈,享受从混沌中梳理出清晰架构的过程。性格沉稳抗压,习惯在高压下保持冷静,把重复性故障转化为自动化预案。擅长Hive SQL调优、UDF编写及数据仓库分层建模,能快速定位数据偏移与资源争用问题。沟通直接、协作利落,愿意主动贴近业务理解取数需求,用技术让数据流转更可靠。
运维技能:
熟悉Shell与Python脚本,能编写Hive任务调度与自动化监控工具,曾通过脚本实现每日数据质量检查与告警推送,减少人工巡检成本。
了解Flume与HDFS,具备日志采集与分层存储的实践经验,能搭建数据管道将业务日志实时导入Hive,支撑数据仓库的增量更新。