•负责校级分布式计算实践项目，基于Docker和Kubernetes构建了Hadoop集群的容器化部署方案，实现多节点一键启动与资源监控，显著简化了实验环境搭建流程。
•作为全国大学生大数据竞赛队长，主导搭建Hadoop on K8s竞赛环境，针对容器化场景优化Shuffle阶段的数据传输策略，最终获得华南赛区一等奖，积累了敏捷开发与团队管理经验。
北京云数科技有限公司 - 基础架构部企业级大数据服务商
2017.01-2021.06
Hadoop容器化工程师容器编排Kubernetes大数据平台自动化运维Docker
北京
•主导公司Hadoop生态的容器化落地，将HDFS、YARN、Hive等核心服务迁移至Kubernetes集群，统一资源调度，消除物理机部署的耦合。
•设计并实现了基于Prometheus和Grafana的容器化监控体系，通过自定义Exporter实时采集Hadoop作业指标，使故障发现时间缩短60%。
•优化容器启动参数与JVM堆内存分配，结合NodeSelector和Taint/Toleration实现混合作业隔离，让核心批处理作业吞吐量提升35%。
•与数据平台团队协作，编写容器化迁移SOP文档，并组织内部培训，推动20+业务线的Hadoop任务平滑迁移至容器环境。
北京联创信息技术有限公司 - 数据平台部金融科技解决方案提供商
2015.07-2016.12
Hadoop开发工程师数据处理数据仓库MapReduceHive数据治理
北京
•参与PB级金融数据仓库的Hadoop平台建设，负责集群日常巡检、扩容与性能调优，保障99.9%的作业SLA。
•使用MapReduce框架开发日志清洗与ETL任务，解析多种半结构化数据，支撑下游风控与报表系统的实时计算需求。
•与数据建模团队配合，优化Hive分区策略和ORC压缩格式，使关键报表查询响应时间从分钟级降至秒级。
•编写自动化脚本处理节点慢盘、数据倾斜等异常，并建立告警规则，将人工介入次数降低50%。
•项目目标是将公司电商业务Hadoop集群全面容器化，提升资源弹性和交付效率，支撑大促期间的流量洪峰。
•作为方案设计者，基于Kubernetes构建了StatefulSet部署HDFS DataNode，并通过CSI插件对接分布式存储，确保数据持久化。
•定制Docker镜像，将Hadoop二进制包与配置模板分层，实现多版本Hadoop环境的快速切换，新节点上线时间缩短至5分钟。
•开发了Operator模式的自愈控制器，自动识别宕机Container并重新调度，配合Grafana看板实现集群健康度可视化。
•项目上线后平稳支撑多次双十一大促，资源利用率从40%提升至75%，集群扩容时间从小时级缩短至分钟级。
物流轨迹大数据分析平台 - Hadoop开发工程师
2016.01-2016.12
•为某头部物流企业搭建Hadoop分析平台，处理日均10亿条GPS轨迹与运单数据，用于路径优化和时效预测。
•负责从零搭建Hadoop集群，规划Namenode高可用架构，并集成ZooKeeper与JournalNode，确保元数据安全。
•设计并实现多层数据清洗管道，使用Hive SQL完成数据标准化，结合Tez引擎优化MR作业，ETL延迟降低30%。
•与算法团队紧密协作，将清洗后的轨迹数据导入HBase，供实时调度系统查询，使车辆调度效率提升20%。
社区贡献:
在GitHub上开源了Hadoop容器化编排工具，利用Kubernetes Operator实现HDFS和YARN的自动扩缩容与故障恢复，简化了上百节点的集群运维，累计获得120+ Star。
向Apache Hadoop社区提交了5个针对YARN容器化内存管理的Issue，并贡献代码修复了NodeManager在容器异常重启时状态丢失的隐患，被社区Review后合并。
