•参与大学生创新创业训练计划，作为负责人主导搭建基于 Spark 的校园用户画像分析平台，获得校级优秀项目，并完成数据采集、清洗至可视化全流程。
•加入数学建模协会，系统训练海量数据建模与算法优化，多次参加全国性大数据竞赛，在团队中负责核心算法实现与性能调优，积累了扎实的分布式计算思维。
•在大数据处理技术课程中，独立实现了一个基于 Raft 协议的小型分布式存储引擎，深入理解了分布式一致性、分区容错等核心原理，并对比了 HDFS 的架构设计。
Hadoop技术专家大数据平台架构分布式计算Hadoop集群治理数据质量
北京
•负责公司全域数据湖的Hadoop集群架构升级，主导从Hadoop 2.x向3.x的平滑迁移，引入纠删码技术，使存储成本降低35%，同时保证集群稳定性。
•优化YARN调度策略，采用公平调度与容量调度混合方案，结合任务优先级预判，将资源等待时间缩短40%，大幅提升离线任务吞吐量。
•设计并实现数据质量监控平台，集成Spark与Hadoop，对流入数据管道进行实时完整性校验和异常数据拦截，确保数据仓库准确率。
•与推荐、广告等算法团队深度合作，构建高效的特征工程数据供给链路，支持模型训练数据时效性提升至分钟级。
Hadoop开发工程师MapReduce开发数据管道日志分析HDFS优化
北京
•参与公司日志实时处理系统建设，利用Flume+Kafka+Hadoop构建数据流入管道，开发MapReduce程序实现TB级日志的离线聚合与多维分析。
•研发数据漂移检测工具，比对源端与HDFS数据一致性，自动触发修复流程，将数据异常发现时间从小时级压缩到分钟级。
•优化HDFS小文件合并策略，通过自定义SequenceFile合并和服务端参数调优，NameNode内存占用降低20%，集群稳定性显著提升。
•参与Hadoop版本升级预研，评估Erasure Coding特性在冷数据存储中的适用性，输出技术选型报告，为后续架构演进提供依据。
•该项目旨在构建公司级的用户画像与行为分析体系，支撑精准营销与产品迭代。
•设计Hadoop集群多租户资源隔离方案，通过YARN队列划分和Quota管理，满足不同业务线差异化SLA。
•从客户端埋点、服务端日志等多源系统实时采集数据，利用Flume汇聚至HDFS，构建统一的数据基础层。
•开发用户行为分析模型，利用Hive与Spark计算用户活跃度、留存率、转化漏斗及路径分析，日处理数据量达PB级。
•平台上线后，数据延迟从小时级降到分钟级，为营销团队提供实时人群圈选能力，使活动转化率提升18%。
•参与公司统一日志平台的建设，实现对业务系统、中间件等海量日志的集中存储与快速检索。
•利用Hadoop提供的分布式存储能力，结合Elasticsearch建立二级索引，突破海量日志的查询性能瓶颈。
•设计自动化日志解析工具，支持多种日志格式的动态配置，并集成到Hadoop任务调度中，提升运维效率。
•最终将日志查询响应时间从分钟级缩短至秒级，故障排查效率提升3倍以上，为业务连续性提供了有力保障。
Python 数据处理与自动化运维:
在 Hadoop 生态中，使用 Python 开发数据管道调度框架，结合 PySpark 与 Hive 进行离线批处理，并通过 Airflow 编排复杂 ETL 任务，提升数据流转效率。
编写集群巡检与自动扩容脚本，实时采集 NameNode 和 NodeManager 指标，基于阈值触发告警与弹性伸缩，保障了百台节点集群的稳定运行。
