•选修了《分布式存储系统》《云计算与大数据平台》课程，完成基于Elasticsearch的日志采集与实时索引构建作业。
•作为队长参加全国大学生大数据技能竞赛，负责集群环境搭建、数据管道监控与故障自愈脚本编写，获得华北赛区二等奖。
美团 - 数据平台运维部生活服务互联网平台数据驱动
2017.06-2021.06
大数据采集运维工程师高可用保障采集调度优化故障根因分析
北京
•负责公司数字生活大数据采集平台的日常运维，保障海量数据实时接入，全年系统可用性保持在99.95%以上。
•重构数据采集调度策略，将任务平均延迟降低40%，显著提升下游数据消费时效性。
•联合开发与数据团队，快速诊断并修复多起数据断流与积压故障，建立根因分析知识库。
•编写《数据采集运维标准化手册》，组织多次内部演练，使新成员上手周期缩短一半。
大数据采集工程师多源采集架构数据质量治理弹性调度
北京
•主导公司智慧交通数据采集架构设计，针对车辆轨迹、路况等多源数据搭建分层采集通道。
•开发自适应数据校验模块，对异常格式与脏数据进行实时清洗，将有效数据率从68%提升至92%。
•建立数据采集量波动预警机制，通过弹性扩缩容和采集频率动态调整，保障数据完整性。
•与数据分析师深度协作，为线路优化、拥堵预测等场景提供高质量输入，支撑核心业务决策。
新零售门店交易行为实时采集项目 - 大数据采集运维工程师
2018.01-2018.12
•参与公司新零售门店交易行为实时采集项目，设计涵盖订单、支付、用户动线等事件的采集方案。
•搭建基于Kafka+Flume的高吞吐采集链路，支撑日均超8TB交易数据的毫秒级接入。
•优化数据压缩与批次提交策略，降低数据丢失率至0.05%以下，同时减少网络带宽消耗。
•与数据中台团队协作，为智能补货和用户偏好分析提供实时数据，项目上线后库存周转率提升20%。
内容平台全链路埋点日志采集项目 - 大数据采集运维工程师
2016.01-2016.12
•主导公司内容平台全链路埋点日志采集项目，设计统一日志采集网关，收敛各业务线的埋点上报。
•开发日志字段解析与动态规则过滤组件，提取内容曝光、播放完成度等核心业务指标，实现实时监控告警。
•落地分层存储与冷热数据分离方案，构建日志数据仓库，支持多维实验分析与AB测试效果评估。
•项目落地后，业务问题定位效率提升60%，使产品迭代数据支撑周期缩短至小时级。
数据采集与运维技术栈:
熟悉多种异构数据源同步方案，能通过Sqoop、DataX完成关系型数据库与HDFS/Hive之间的批量与增量同步，并处理脏数据。
具备运维大数据组件的能力，能使用Prometheus+Grafana监控HBase、Kafka等服务的健康度，并基于报警规则编写自动化处理脚本。
实践过日志采集体系建设，通过Filebeat+Kafka+Flink搭建实时日志清洗管道，并针对消息积压进行分区扩容与消费速率调优。
