188****6397niu****@***.com北京35岁男大数据技术经理在职北京30k-40k •在校期间主修计算机,对大规模数据处理与分布式存储系统兴趣浓厚,课余加入数据挖掘实验室,参与了用户行为分析竞赛,通过特征工程与模型调优,获得全国高校大数据挑战赛省级一等奖。
•作为技术负责人带领团队搭建校园级日志分析平台,整合Kafka实时流处理与ClickHouse快速查询,完成从数据采集到可视化看板的完整链路,积累了工程化与团队协作经验。
北京智联未来科技有限公司 - 大数据研发部高新技术企业数据驱动型企业
2017.01-2022.06
大数据技术经理数据架构设计技术团队管理实时计算数据中台
北京
•主导大数据中台的技术架构演进,引入湖仓一体方案,推动数据链路标准化,支撑公司新零售业务的数据需求。
•带领团队交付了多个核心数据项目,涵盖用户行为分析、实时推荐引擎、供应链预测等,深度服务于新零售和智能物流场景。
•通过计算引擎升级与存储分层优化,将离线任务平均耗时从2小时压缩至40分钟,资源成本降低25%。
•与运营、商品、供应链等部门建立常态化数据对话机制,输出数据洞察方案,驱动商品周转率提升18%。
•建立内部技术分享与导师制,培养了3名资深工程师,团队连续两年获得公司技术创新奖。
北京数联创新科技有限公司 - 大数据研发部数据智能先锋高成长性企业
2014.07-2016.12
大数据开发工程师数据工程离线计算流处理数据治理
北京
•负责离线数据处理模块的研发,基于Spark构建了通用ETL框架,支撑日均TB级日志的清洗与聚合。
•针对数据倾斜问题优化Shuffle策略,并引入列式存储格式,使关键报表产出时间从4小时降至1.5小时。
•与BI团队合作,搭建自助分析数据集市,降低业务人员取数门槛,月均查询次数提升3倍。
•参与数据质量监控体系建设,设计元数据管理模块,接口数据一致性校验覆盖率从60%提升至95%。
•主动引入Delta Lake技术,解决了小文件问题和并发读写冲突,推动团队技术栈升级。
•项目背景:某头部零售企业要求打通线上线下数据,实时监控全渠道销售动态,原系统小时级延迟无法满足运营需求。
•项目目标:构建实时数据计算与可视化平台,实现秒级数据刷新,支持大促实时决策。
•技术方案:采用Flink CDC实时捕获数据库变更,Kafka进行数据分发,下游写入ClickHouse实现亚秒级聚合查询,并集成Grafana展示。
•实施过程:主导技术选型与架构设计,带领5人团队完成平台从0到1搭建,经过压测优化,成功支撑双十一峰值每秒30万条交易事件处理。
•项目成果:将数据延迟从小时级缩短至5秒以内,帮助运营团队实时调整促销策略,大促期间转化率提升12%。
•项目背景:某物流企业面临货物丢失、时效延误等风险,需要基于车辆轨迹与订单数据提前预警。
•项目目标:开发智能物流风险预警平台,实时识别异常轨迹、延误风险,并触发调度干预。
•技术方案:利用Spark Streaming处理GPS轨迹流,结合规则引擎与GBDT模型识别异常,将预警推送到调度系统。
•实施过程:负责整体架构与模型迭代,与算法团队合作优化特征工程,将预警准确率从80%提升至92%。
•项目成果:上线后,货物丢失率降低30%,延误投诉减少45%,为客户节省了可观的赔付成本。
热爱大数据技术,享受从海量数据中提炼洞察,长期保持对前沿技术的敏感度;我对数据质量有近乎偏执的追求,坚信好的数据架构是业务成功的基石;具备扎实的架构设计功底和团队领导力,习惯以业务价值为导向推动技术决策;善于激发团队潜能,乐于分享与培养人才;跨部门沟通顺畅,能快速将业务需求转化为可行的数据方案,持续带来实际成效,希望在大数据技术管理岗位上,带领团队持续突破,实现技术与业务的双赢。
数据治理:
主导过企业级数据资产目录的构建,推动元数据自动化采集与血缘可视化,设计数据质量度量指标与分级告警机制,使核心报表数据一致率从89%提升至98%以上,保障了数据中台的可靠输出。