•在校期间专注于数据库系统与分布式计算方向,主修课程平均绩点位居专业前 10%
•担任学院技术协会数据组组长,组织校内大数据挑战赛,负责赛题设计与评分标准制定,培养了技术视野
•毕业设计选题为《基于改进 MapReduce 的日志分析系统》,独立完成了原型开发,最终论文获评校级优秀毕业论文
北京某新零售科技有限公司 - 数据中台部新零售行业
2018.07-2021.06
数据开发工程师数据管道构建零售数据建模任务调度优化
北京
•负责零售供应链数据管道的搭建,利用 Airflow 调度 Spark 任务,实现全渠道销售数据的自动化采集与清洗
•针对高并发交易场景,重构分层存储架构,通过列式存储与索引优化,使核心报表生成耗时下降 40%
•深入业务一线,梳理库存周转与商品流转逻辑,构建主题域模型,为运营团队提供精准的滞销预警数据
•建立数据监控告警机制,覆盖任务失败与数据波动,将数据生产故障的平均恢复时间(MTTR)控制在 30 分钟以内
北京某金融科技服务平台 - 大数据研发部金融科技企业
2021.07-2023.06
资深数据工程师实时计算架构数据资产管理湖仓一体化
北京
•主导实时风控数据中台建设,采用 Flink + Kafka 技术栈,实现毫秒级风险数据的流式处理与落地
•带领 5 人小组攻坚多源异构数据融合难题,设计统一数据服务接口,支持上下游 10+ 个业务系统的高效调用
•推行数据资产管理制度,编写数据血缘文档与质量评分标准,推动团队数据规范落地,代码评审通过率显著提升
•探索湖仓一体技术路线,引入 Hudi 替换传统 Hive 表结构,解决了增量更新与历史数据回溯的效率瓶颈
•针对物流公司海量 GPS 轨迹数据,设计 ETL 清洗流程,剔除异常点并补全缺失路段,数据可用率提升至 95%
•构建路网时空索引,结合历史运单数据,为调度系统提供最优路径推荐依据,单仓配送成本降低 15%
•使用 Hive 分区裁剪与桶表技术,优化大规模轨迹数据的存储查询性能,支撑秒级地图可视化渲染
•配合算法团队完成特征工程,提取车辆行驶行为特征,助力路径规划算法模型的迭代升级
•整合门店 POS 系统、外卖平台及小程序数据,打破数据孤岛,构建统一的会员 360 度视图
•设计 RFM 模型计算任务,定期更新会员价值分层,支持营销部门进行精准的优惠券投放策略
•编写数据质量检查脚本,监控会员信息的一致性(如手机号、积分余额),拦截脏数据进入下游系统
•项目上线后,会员复购率提升 20%,营销活动的 ROI 相比过往季度有了明显改善
数据建模:
精通 Kimball 维度建模理论,擅长在复杂业务场景下设计星型与雪花模型,平衡存储成本与查询效率
在处理缓慢变化维(SCD)时,能根据业务追溯需求灵活选择 Type 1/2/3 策略,确保历史数据可审计
曾主导一次数据仓库重构,通过优化分区键设计与事实表粒度,使核心查询响应速度提升 3 倍以上