•选修分布式系统与大数据处理核心课程,深入研究 Hadoop 生态与流计算原理,具备扎实的理论功底。
•加入学校大数据实验室,参与导师的“分布式日志分析系统”课题研究,负责核心解析模块的代码实现。
•获全国大学生数学建模竞赛省级一等奖,锻炼了将数学模型转化为工程代码的实践能力。
实时数据开发工程师流式风控引擎低延迟计算状态后端优化高可用保障
北京
•主导金融风控实时决策平台的流计算层重构,采用 Flink 替代原有批处理逻辑,实现交易欺诈行为的毫秒级拦截,峰值 QPS 突破 5 万。
•针对高并发场景下的状态膨胀问题,引入 RocksDB 状态后端并优化 Checkpoint 机制,将作业恢复时间缩短 60%,保障核心业务连续性。
•协同风控策略团队,将业务规则转化为 Flink SQL 与 UDF 函数,支持策略的在线热加载与 A/B 测试,提升风控迭代效率。
•建立全链路数据质量监控体系,对异常流量进行自动熔断与告警,确保 7*24 小时零故障运行。
数据开发工程师高并发采集数据清洗治理实时看板开发技术文档规范
北京
•负责直播互动数据的实时采集链路建设,对接 WebSocket 网关与 Kafka 集群,完成多源异构数据的标准化接入。
•设计并实现基于 Flink 的实时 ETL 管道,过滤无效刷量数据与异常流量,确保入仓数据准确率维持在 99.95% 以上。
•搭建直播实时数据看板,通过预聚合与近似算法优化查询性能,支持运营人员实时查看直播间热度与用户画像。
•沉淀数据开发规范与技术文档,组织内部代码评审,推动团队在实时计算领域的标准化建设。
•背景:针对城市早晚高峰拥堵问题,需实时感知路网流量并推送最优路径。
•方案:利用 Flink 消费车载 GPS 与卡口数据,通过滑动窗口计算路段平均车速,结果写入 HBase 供地图服务调用。
•成果:路况更新延迟由 5 分钟级降至 30 秒级,高峰期拥堵预警准确率达到 85%,有效缓解局部交通压力。
工业 IoT 设备故障预测与预警平台 - 流计算开发
2018.10-2019.06
•背景:制造业生产线设备故障会导致停机损失,需基于传感器数据提前识别异常。
•方案:基于 Flink CEP 复杂事件处理,定义温度、振动等多维异常模式,触发故障预警信号。
•成果:实现故障提前 10 分钟预警,设备非计划停机时间减少 20%,显著提升产线运维效率。
技术社区分享:
在个人技术博客撰写实时计算系列教程,累计阅读量 10w+,分享 Flink 源码解析与调优实战经验。
参与内部数据中台组件封装,将通用数据接入逻辑抽象为 SDK,提升团队开发效率 30%。