牛敬业
188****0293niu****@***.com北京30男Hive数据迁移工程师在职北京20k-30k •选修《分布式存储系统》《大数据查询引擎优化》等课程，完成Hive元数据迁移与分区重分布的课程设计，获院内优秀实验报告。
•参加Apache社区Hive插件开发竞赛，贡献基于Hooks的迁移监控脚本，被纳入社区工具集，排名前10%。
•带队搭建校园行为分析平台，主导Hive历史数据从CDH迁移至Tez引擎的全流程，编写自动化校验脚本，减少150小时人工核对时间。
Hive数据迁移工程师Hive平台迁移性能调优跨团队协作
北京
•主导了公司核心业务数据从旧版Hive向云原生Hive平台的整体迁移，重构了迁移调度框架，将单表迁移平均耗时从3小时压缩至1.2小时，整体迁移效率提升60%。
•与风控、营销等多个业务线紧密协作，深入梳理数据血缘与依赖关系，制定分批次、可回滚的迁移方案，成功迁移超200TB数据，业务方零投诉。
•针对迁移后Hive查询性能退化问题，通过重写倾斜SQL、调整ORC压缩参数及动态分区修剪，使高频查询响应时间缩短40%，保障了平台平稳过渡。
Hive数据迁移工程师版本升级迁移监控体系搭建知识沉淀
北京
•负责公司内部多个事业部的Hive数据整合迁移，从Hive 1.x升级至Hive 2.x，解决了MetaStore兼容性难题，并重新设计分桶策略，使写入性能提升35%。
•搭建了完整的迁移质量监控Dashboard，实时追踪数据校验进度、异常记录与恢复状态，主动发现并处理了3起潜在数据不一致风险，保障了80TB数据的安全落地。
•编写了《Hive迁移标准化操作手册》及常见问题知识库，组织内部培训6场，使新入职工程师能在10天内独立完成常规表迁移任务。
大数据平台Hive集群迁移与优化项目 - 核心成员
2018.05-2018.10
•该项目旨在将公司旧有Hive数据仓库迁移至存算分离架构，以支撑业务规模爆发。我作为核心成员，主导了技术选型与迁移方案设计。
•对存量数万张表进行冷热分层分析，按业务域划分5个迁移批次，并设计灰度切换方案，确保迁移期间业务报表正常产出。
•独立开发了基于Spark的分布式数据校验工具，支持行级比对与自定义规则，校验准确率100%，累计校验数据量达150TB，迁移周期比原计划缩短25%。
公司多事业部Hive数据整合项目 - 数据迁移负责人
2016.01-2016.06
•项目目标为整合公司旗下多个独立事业部的Hive数据，消除数据孤岛。我负责设计统一的迁移流程与数据治理规范。
•针对各事业部数据格式、编码及分区策略差异，开发了配置化的数据转换引擎，自动完成清洗与映射，转换正确率达99.99%。
•协调各事业部数据Owner及DBA团队，制定联合迁移时间表，通过每日站会同步风险，最终成功整合了6个事业部的数据，建立了统一的Hive数据平台，支撑了集团级BI报表。
对数据大规模流转的复杂性与挑战有天然热情，喜欢在高压下打磨脚本、校验一致性，视每一次迁移为对严谨性的检验。耐心细致，对数据完整性和性能瓶颈长期保持敏感，习惯主动预判风险并准备预案。具备扎实的 Hive SQL 与 Shell 编程能力，善于从执行计划与资源消耗中发现调优切入点，能快速拆解慢任务并落地优化。在跨团队协作中惯于用数据语言对齐目标，推动问题闭环，希望持续深耕数据架构与迁移工程。
数据一致性校验与迁移保障平台:
自研校验平台，采用Spark on K8s架构，通过Hive Metastore API自动发现待迁移表，执行字段级MD5与记录数双重校验，支持断点续传与差异报告自动生成，在3个PB级Hive迁移项目中守护数据零丢失，校验吞吐达40GB/min。
