北京航空航天大学 - 本科985工程211工程双一流
2007.09-2011.06
•主导校园行为分析平台的数据管道建设，设计多源埋点日志采集与分层清洗链路，引入增量调度与断点重续机制，获评校级优秀实践成果。
•在ACM集训队参与大规模图数据处理与流式计分赛题，强化了数据分片、并行计算及资源调度策略，形成应对数据倾斜的工程思维。
•于《分布式系统》课程中实现基于一致性哈希的数据分片副本管理，深入理解CAP理论在数据架构选型中的权衡，并以此延伸至ETL容错设计。
•- 主导公司全域数据中台的ETL架构规划与落地，设计统一的数据接入与分发中心，将异构数据源融合效率提升35%。
•- 带领5人团队攻克PB级数据仓库的复杂ETL任务，覆盖保险、银行等金融场景，保障核心报表的T+0产出。
•- 深入业务一线，与风控、运营等部门共创数据模型，将反欺诈规则引擎的底层数据准备时间缩短至分钟级。
•- 制定ETL开发全生命周期规范，引入代码模板与自动化测试，并组织内部技术沙龙，显著提升团队交付质量。
•- 参与公司实时数据中台建设，负责流批一体ETL模块的开发与调优，保障直播、推荐等场景的数据时效性。
•- 重构离线ETL链路，采用Flink+Spark混合引擎，将商品交易数据清洗耗时从6小时压缩至2小时以内。
•- 与算法团队紧密配合，构建用户画像宽表，通过精细化数据治理为个性化推荐提供高质量特征。
•- 主导解决数据倾斜、小文件过多等痛点，沉淀出多套故障自愈方案，大幅降低运维的人工介入。
•- 项目背景：为支撑银行全面数字化运营，需整合核心系统、信贷、理财等20余个异构源，构建统一数据仓库。
•- 项目职责：作为ETL架构师，独立完成数据仓库的ETL分层设计，制定增量与全量结合的采集策略，平衡数据新鲜度与系统负载。
•- 技术实现：运用DataStage与自定义UDF，实现复杂业务字段的标准化映射；引入数据质量飞行舱，在ETL中嵌入200+条校验规则，脏数据拦截率提升至99%。
•- 项目成果：仓库上线后，为管理驾驶舱、监管报送、客户洞察等10余个应用提供稳定数据服务，数据查询响应时间从先前分钟级降至秒级，获得业务部门高度评价。
•- 项目背景：公司原有T+1数据处理链路已无法满足直播选品、竞品监控等实时场景，亟需升级为流批一体架构。
•- 项目职责：作为ETL负责人，主导技术选型与架构升级，设计基于Kafka+Flink的实时ETL管道，并推动离线链路向流式架构平滑迁移。
•- 技术实现：重构订单、流量等核心主题的数据模型，采用列式存储与分区裁剪，降低存储成本40%；开发ETL作业健康度评分系统，实时监控延迟与异常。
•- 项目成果：新平台上线后，实时数据产出延迟从30分钟缩短至5秒，支撑了直播间秒级库存扣减和实时大屏，系统稳定性达99.95%，有力支撑了业务增长。
数据库（PostgreSQL、SQL Server） 数据质量架构与治理:
设计元数据驱动的数据质量稽核框架，自动化扫描完整性、一致性、时效性等维度，通过规则引擎动态下发校验任务，确保全链路数据合规。
引入数据Profile与统计异常检测算法，自动识别数据漂移与离群模式，构建质量风险热力图，为数据治理优先级提供量化依据。
落地数据质量驾驶舱与告警闭环，关联数仓任务依赖，实现质量事件自动追溯与修复工单，保障数据资产可审计与高信任度。
