•系统学习了编译原理、计算机网络、数据库系统等核心课程,并自学了ARM架构基础与大数据生态组件,参加校内大数据分析竞赛,获得最佳创意奖。
•作为技术俱乐部负责人,组织“大数据技术应用”系列讲座,分享Spark优化与实时数据处理实践,锻炼了组织协调能力。
北京云帆数据科技有限公司 - 研发部科技型企业大数据领域
2017.07-2022.05
ARM大数据开发工程师ARM生态适配数据工程性能调优
北京
•主导ARM服务器集群上大数据处理框架的落地,完成从x86迁移到ARM生态的适配与性能调优,确保平台兼容性与吞吐量。
•设计并实现数据流处理引擎,针对ARM指令集特点优化序列化与压缩算法,使单节点数据处理吞吐量提升40%。
•搭建自动化监控与告警体系,基于Prometheus和Grafana定制ARM集群指标,负责7x24小时应急响应,保障关键业务零中断。
•推动团队引入容器化技术,将大数据组件部署于Kubernetes,实现弹性伸缩,降低资源浪费。
北京智联科创信息技术有限公司 - 技术部互联网企业大数据应用
2015.07-2017.06
ARM大数据开发工程师数据接入存储优化OLAP分析
北京
•参与ARM大数据平台的初期建设,负责数据接入层的设计与开发,对接多种异构数据源(如MySQL、日志文件、消息队列),实现高效采集与清洗,制定数据质量校验规则。
•针对ARM服务器存储特性,优化HDFS和HBase的存储策略,采用列式存储与压缩编码,使存储成本降低25%,查询响应时间缩短30%。
•与业务方共同梳理数据分析需求,构建用户行为分析模型,通过OLAP查询加速,支撑营销决策,提升投放ROI。
•参与开源社区ARM适配项目,贡献补丁,推动公司技术品牌建设。
•项目背景:为某大型物流企业构建基于ARM架构的智能调度平台,优化车辆路径规划与实时监控。
•项目职责:作为核心开发,负责实时数据处理与调度算法模块,集成GPS轨迹数据与订单数据。
•技术实现:采用ARM版Kafka与Flink构建流处理管道,利用ARM NEON指令集加速轨迹压缩与匹配算法,结合图计算引擎进行路径优化。
•项目成果:平台上线后,运输效率提升18%,燃油成本降低12%,日均处理轨迹数据超过20亿条,系统稳定运行在ARM集群上。
•项目背景:为制造企业搭建工业大数据平台,用于设备预测性维护与生产质量分析。
•项目职责:负责数据ETL模块与特征工程,从工厂PLC和传感器采集数据,构建设备健康度模型。
•技术实现:基于ARM架构的Spark进行批处理,采用时间序列算法分析设备振动数据,结合ARM的并行计算能力加速模型训练。
•项目成果:提前预警设备故障30余次,减少非计划停机时间40%,帮助客户降低维护成本,产品良率提升8%。
大数据生态(Hadoop/Spark/Flink) 分布式存储与查询(HBase/Elasticsearch) 技术传播与开源贡献:
在公司内部倡导并主持“ARM生态大数据实践”系列研讨会,聚焦ARM服务器上的Flink调优、容器化部署等课题,累计开展30余场,覆盖600余人次。
在知乎、掘金等平台输出多篇ARM大数据实战笔记,其中《基于ARM的Kubernetes大数据平台部署实录》获5万+收藏,引发社区广泛讨论。