•核心课程覆盖数据结构、数据库原理、操作系统等基础模块,额外自修数据集成、数据仓库构建相关知识,系统掌握了数据流转、存储的底层逻辑
•在校期间参加校算法竞赛、数据库设计赛,拿下3次校级奖项,积累了大量性能优化、异常排查的实操经验,可快速适配数据链路调试、数据库故障定位的工作场景
北京星辰互娱科技有限公司 - 数据中台部泛娱乐科技
2016.07-2019.12
•主导营销数据中台的离线数据处理链路,基于 Informatica PowerCenter 构建标准化清洗流程,对接 CRM、DMP 等多源异构数据,保障运营报表数据的口径一致性。
•深度参与数仓分层架构的重构,设计符合缓慢变化维(SCD)策略的历史数据留存方案,显著提升历史数据回溯查询的性能与准确性。
•搭建基于 Shell 脚本与 Crontab 的任务调度与异常报警机制,实现 ETL 任务的自动化巡检,将数据生产延迟率降低至 0.5% 以下。
•协助业务部门梳理数据字典与指标定义,沉淀数据开发规范文档,有效减少了因口径歧义导致的返工,提升团队交付效率。
北京云图数据技术有限公司 - 大数据架构组数字化转型
2020.01-2022.08
•负责智慧城市项目的实时数据接入与清洗,利用 Kafka 与 Spark Streaming 构建高吞吐流处理管道,支撑城市运行监测大屏的秒级数据刷新。
•优化高并发场景下的数据写入策略,通过分区剪枝与压缩算法调整,解决海量日志数据在 Hive 存储中的 IO 瓶颈问题。
•主导团队技术栈升级,推动从传统脚本向分布式计算框架迁移,编写技术分享文档并组织内部培训,提升组内成员对大数据组件的实战应用能力。
•对接政府职能部门与第三方服务商,协调数据接入权限与接口规范,确保外部数据源的安全合规接入与稳定传输。
游戏用户行为画像数据仓库建设 - ETL开发工程师
2017.05-2018.03
•负责游戏全链路用户埋点数据的采集与清洗,设计宽表模型以支撑用户生命周期价值(LTV)的分析与计算。
•处理日均 5GB+ 的日志数据,通过编写高效 SQL 与存储过程,实现用户行为路径的重组与异常数据过滤,保障画像标签的精准度。
•优化历史数据归档策略,将冷数据迁移至低成本存储介质,平衡查询性能与存储成本,使数据仓库整体存储开销降低 30%。
•配合产品运营团队快速响应数据需求,通过自助查询工具赋能业务人员,减少 80% 的临时取数工单响应时间。
城市交通态势实时监测中台 - 高级ETL开发工程师
2021.06-2022.02
•设计并实施基于流批一体的交通数据融合方案,整合卡口、地磁、浮动车等多维数据源,实现城市路网拥堵态势的实时感知。
•构建高可用的数据容灾机制,针对关键链路实现双活部署与自动故障切换,确保在极端高并发场景下数据生产不中断。
•与前端可视化团队紧密协作,定义标准 API 接口规范,将清洗后的实时数据流式推送至监测大屏,支持突发事件的快速研判。
•持续监控集群资源水位,通过动态调整计算节点资源与优化代码逻辑,降低系统 CPU 与内存占用率,提升整体运行稳定性。
ETL工具(Informatica、Kettle) 开源参与与技术输出:
持续在GitHub、技术社区输出数据工程领域的实战内容,整理了SQL调优、异构数据同步、数据质量校验等方向的技术文档,累计收获阅读量8000+、代码仓库收藏300+;同时参与了DataX、Apache NiFi等数据集成开源项目的社区建设,提交过多处数据流转性能优化相关的代码,修复过3个数据同步场景下的常见Bug,对开源数据工具的底层设计逻辑有实操级理解