ARAMAZING RESUME
牛敬业
Hive故障排除专家
188****9183niu****@***.com北京30男Hive故障排除专家在职北京20k-30k •主修课程：数据结构、计算机网络、分布式系统、数据库原理，并自学了《Hive编程指南》与执行计划分析。
•毕业设计基于Hive构建电商日志多维分析管道，独立解决了数据倾斜与大量小文件导致的查询延迟问题，将执行时间缩短40%。
•参与校级大数据挑战赛，负责MapReduce作业优化，通过调整并行度和压缩格式，使作业资源消耗降低30%。
北京某数据科技有限公司 - 数据平台运维部大数据数据服务
2018.01-2021.12
Hive故障排除专家Hive故障诊断集群调优查询优化
北京
•主导公司Hive集群的日常巡检与突发故障处理，累计化解超过60起由数据倾斜、元数据损坏或资源争抢导致的查询失败问题，通过调整执行引擎参数、引入合并小文件策略，将核心报表的日均查询失败率从5%降至0.2%以下。
•与数据开发团队深度协作，参与离线数仓模型的重构评估，从Hive技术栈角度对分区设计、分桶策略提出改进建议，协助开发团队解决复杂嵌套查询的超时问题，保障了营销分析、用户画像等应用的按时产出。
•主动探索Hive on Tez/Spark等新执行引擎的落地可行性，搭建测试环境进行性能对比，最终推动公司集群从MR引擎迁移至Spark引擎，并配合调整内存与并行度参数，使整体资源利用率提升约35%，年度运维成本降低20%。
北京某信息技术有限公司 - 技术支持部信息技术技术服务
2016.07-2017.12
Hive技术支持工程师Hive技术顾问故障响应内部知识库建设
北京
•为金融、零售等行业客户提供Hive远程技术支持，处理客户在Hive JDBC/ODBC连接异常、权限控制、查询结果不一致等场景下的疑难问题，在服务周期内，累计闭环客户工单超过200个，客户反馈平均响应时间缩短至30分钟以内。
•牵头构建并维护公司内部Hive知识库，将典型故障案例、优化技巧沉淀为标准化文档，包括《Hive元数据备份与恢复实操指南》《HiveServer2并发瓶颈排查手册》等，已成为新人入职的必读材料，带动团队整体问题解决效率提升。
•配合售前团队参与客户技术交流与POC测试，针对不同客户的集群规模和数据特点，设计Hive高可用与容灾方案，成功支撑了三个千万级合同的技术落地，并产出多份技术选型参考建议书。
•该项目旨在提升公司Hive即席查询的响应速度，满足业务部门对实时数据分析的需求。作为项目核心成员，我负责全链路性能瓶颈的分析与定位工作。
•通过采集Hive Server2日志、YARN JobHistory数据，构建查询耗时分布模型，发现大量查询因扫描全表、缺少合适索引而耗时过长，并识别出分区字段使用不当、数据倾斜严重等典型问题。
•与团队共同制定优化方案，推行分区裁剪、ORC格式转换、Bloom Filter索引等技术，并针对高频查询定制了物化视图，将数据扫描量平均减少70%。
•项目上线后，Hive即席查询的P99延迟从120秒降至8秒以内，顺利支撑了运营团队实时营销活动的数据需求，获得业务方高度认可。
跨机房Hive数据同步与容灾项目 - 元数据同步及数据校验负责人
2020.09-2020.12
•参与公司跨机房Hive数据仓库同步项目，旨在建设异地灾备集群，确保极端情况下数据不丢失、业务可切换。我负责Hive元数据实时同步机制的设计与数据最终一致性校验工作。
•设计基于MySQL Binlog解析的元数据同步方案，实现Hive Metastore在两个机房之间的准实时同步，并编写自动化脚本处理表结构变更、分区新增等场景，将元数据同步延迟控制在秒级。
•开发数据校验工具，通过对比源端与目标端Hive表的CHECKSUM值、行数统计以及抽样内容比对，定期生成一致性报告，并针对差异数据自动触发修复流程。
•项目成功交付后，核心业务数据表做到零丢失，灾备集群在年度演练中切换时间小于15分钟，极大提升了数据平台的高可用性。
对Hive的技术内核充满探究欲，乐衷于像解谜一样拆解查询延迟、资源争用等疑难杂症，把系统调到最顺滑的状态。具备沉稳的故障响应心态和面向结果的复盘习惯，在多团队协作中能快速对齐信息、用简洁的技术语言推进共识。擅长从执行计划、元数据与底层存储交互中捕捉异常，持续通过社区动态与内部实验更新自己的优化武器库，希望在Hive可靠性保障领域持续深耕。
Linux系统运维与自动化脚本:
精通Linux系统性能分析与故障排查，曾使用perf和ftrace工具定位Hive查询期间磁盘I/O瓶颈，并通过调整内核参数缓解。
编写Python脚本定期抓取Hive Metastore日志，自动检测元数据异常并触发告警，避免了一次数小时的服务中断。
为Hadoop集群设计基于inotify的日志轮转监控，确保日志不滚增导致磁盘爆满，保障HiveServer2长期稳定运行。
