牛敬业
188****1234niu****@***.com北京30男数据平台开发专家在职北京30k-50k •在校期间积极参加ACM国际大学生程序设计竞赛,获得亚洲区域赛银奖,锻炼了高效算法设计与团队协作能力。
•作为机器人社团核心成员,参与自主导航机器人开发,负责激光雷达数据融合与路径规划模块,获校内科技展一等奖。
•选修《大数据技术导论》并完成课程设计,基于Hadoop生态实现电商用户行为漏斗分析,获优秀作品并在学院展示。
•毕设课题为《基于Spark Streaming的移动端实时日志异常检测》,设计并实现了一套微型实时监控系统,被评为校级优秀毕业论文。
•参与公司级实时数据平台从0到1的建设,主导流式计算引擎的选型与落地(Spark Streaming/Flink),支撑日均十万级事件处理。
•设计并搭建企业级数据湖,采用Hudi + HDFS方案,统一离线与实时数据存储,降低数据冗余约40%。
•重构多维分析查询引擎,通过预计算与索引优化,使Ad-hoc查询响应时间减少60%,显著提升分析师体验。
•与搜索、广告团队紧密合作,抽象通用的数据接入与治理平台,帮助业务线快速构建数据应用。
•负责公司核心数据中台的架构演进,引入存算分离与云原生理念,提升平台弹性伸缩能力,机器成本降低25%。
•统一实时与批处理API,设计兼容去状态化的数据开发套件,使业务接入效率提升50%,并组织技术路线布道。
•优化YARN/K8s混合资源调度策略,实现离线与实时任务错峰复用,整体资源利用率提升30%以上。
•带领6人专项小组,深入短视频、电商等业务线,产出数据赋能方案,保障618/双十一等大促平稳度过。
•为百度电商业务搭建实时经营分析平台,负责数据采集、清洗与存储层的设计与实现。
•使用Canal + Kafka建设秒级数据采集链路,保证订单、库存等核心指标零丢失。
•开发去重与维度扩展的流处理逻辑,引入非非确重复处理模型,数据准确率提升到99.9%。
•设计基于HBase+Phoenix的查询服务层,支持运营实时看板和快速的多维下钻分析。
•主持短视频推荐数据中台项目,统一特征工程与训练数据管道,支持日增千亿级样本处理。
•设计实时特征与离线特征混合存储方案,引入Feature Store理念,使模型迭代周期从周级缩短到天级。
•优化数据血缘与元数据管理,自研DAG调度系统,实现复杂管道可视化与一键重跑,运维效率提升70%。
•与推荐算法团队深度协同,推出AB实验数据平台,直观量化策略效果,推动核心留存指标持续优化。
我对数据平台建设充满热忱,享受用代码编织高效可靠的数据管道,对系统稳定性与数据处理性能有近乎苛刻的要求。深耕大数据技术栈,擅长架构设计与技术创新,习惯于从业务视角出发提炼最优数据方案。同时,乐于带领团队攻克复杂难题,相信协作能放大技术价值。
开源贡献:
Apache Flink Committer,参与Flink SQL模块开发,修复多项窗口函数相关问题并提交PR,累计合并10+个贡献。
维护个人开源项目data-piper(一套轻量级数据管道框架),集成常用Source/Sink,获得社区2300+ Star。