•主导设计医疗数据湖存储架构,基于HDFS与Iceberg实现PB级数据分层管理,通过Spark优化查询效率提升40%
•担任学院算法社团技术负责人,开发动态规划模块解题框架,助力团队斩获2016年全国大学生数据建模竞赛金奖
•参与跨校联合的数据湖仓一体化项目,设计异构数据源实时同步方案,日均处理量突破50TB
•辅修生物医学工程方向,完成《基于深度学习的病理影像特征提取》课题研究,成果发表于校级学术会议
高级数据仓库工程师数仓架构迁移实时数据管道ETL自动化
北京
•主导电商行业数据仓库重构,完成从传统数仓到湖仓一体架构迁移,设计分层存储策略使存储成本降低40%
•构建多源异构数据接入管道,整合订单、物流、支付等12类业务系统数据,实现T+0级数据同步
•开发智能调度系统替代原手工ETL流程,通过动态依赖分析将作业失败率从15%降至3%以下
•为风控部门建立实时特征工程平台,支持毫秒级用户行为画像计算,提升欺诈检测响应速度3倍
数海医疗信息技术有限公司 - 数字化转型部医疗信息化
2018.01-2021.06
数据仓库技术专家医疗数据治理实时分析平台数据血缘管理
北京
•负责医疗行业数据中台建设,设计临床数据标准化模型,统一20+科室的电子病历数据结构
•搭建基于ClickHouse的实时分析集群,支撑每日千万级检验报告秒级查询,替代原有BI系统
•研发数据血缘追踪工具,可视化呈现跨系统数据流转路径,审计效率提升60%
•建立数据质量SLA体系,设置7×24小时异常告警机制,关键指标准点率达99.8%
•对接500+门店POS系统与ERP数据,设计统一商品主数据模型,解决跨渠道SKU编码混乱问题
•开发实时库存预警系统,通过Flink流处理实现缺货商品30秒级推送,减少销售损失约18%
•构建客户价值分层模型,整合线上线下交易行为数据,为精准营销提供RFM指标体系
•建立数据资产目录,对1.2万张表实施标签化管理,数据检索效率提升3倍
•重构信贷审批数据流水线,采用Kafka+Spark Streaming架构替代传统批处理方案
•实现反欺诈特征工程自动化,单日处理交易数据量从5000万提升至2亿条
•设计动态资源调度机制,在业务高峰时段自动扩容计算节点,保障99.99%SLA
•开发数据质量看板,实时监控数据完整性/一致性/及时性,异常定位时间缩短至5分钟内
数据质量与合规实践:
搭建企业级数据血缘追踪系统,整合DataHub与自定义元数据采集器,实现10万+表级数据流转可视化
设计动态数据校验引擎,融合SQL规则库与Flink流处理框架,实时监测15类数据异常场景
在金融项目中落地GDPR合规方案,通过字段级脱敏与审计日志追溯,满足欧盟数据跨境传输监管要求