AMAZING RESUME / 01
BURN BRIGHT · MOVE FORWARD
牛敬业
数据采集质量保障DBA开发
常怀探索之心,以实干沉淀自身价值
188****3816niu****@***.com北京32男数据采集质量保障DBA开发在职北京25k - 35k •参加全国大学生数据库应用创新大赛,设计并实现了一套实时数据采集与质量监控平台,荣获华北赛区二等奖,锻炼了高并发数据接入与异常检测的工程能力。
•主导开发校园实验数据共享系统,负责后端数据库架构与ETL流程设计,使用MySQL分区表与触发器实现数据自动归档,该项目获评校级优秀毕业设计,增强了全链路数据治理的实践经验。
北京数源科技有限公司 - 数据技术部专精特新企业大数据服务商
2016.05-2021.06
数据采集质量保障DBA开发数据采集架构质量监控体系数据库调优跨团队协作
北京
•- 主导设计公司金融级数据采集平台的数据库架构,针对实时流与批量处理两种场景,分别采用时序数据库与分布式关系型存储,使写入吞吐量提升40%。
•- 构建全链路数据质量监控体系,通过自定义校验规则引擎与自动化清洗脚本,对采集端数据进行毫秒级异常检测,将数据不一致率从3.8%压缩至0.5%以下。
•- 深入业务线,为反欺诈模型、用户画像等数据消费方提供存储方案咨询,并参与Java服务端数据入库代码的评审,杜绝了N+1查询等常见性能陷阱。
•- 主导季度性能压测与容量规划,通过计算存储分层与冷热数据分离,平稳支撑了公司业务从百万级到千万级日活的跃升,数据库成本降低20%。
北京智联软件技术有限公司 - 技术研发部创新型企业快速发展
2012.07-2016.04
数据库开发工程师数据库运维SQL调优需求沟通备份恢复
北京
•- 负责公司电商平台核心交易库的运维保障,建立并实施了覆盖网络、磁盘、连接数的多层次监控,保障了全年99.99%的可用性。
•- 针对大促峰值场景,重构了数据库备份策略,采用增量合并与延迟备库技术,将备份窗口缩短60%,并通过季度灾备切换演练验证了方案的有效性。
•- 深度优化商品检索与订单列表的慢查询,通过引入覆盖索引、分区裁剪及查询重写,将平均响应时间从800ms降至100ms以内。
•- 与产品经理紧密协作,基于订单状态流转模型设计了一套高扩展性的表结构,避免了后期大规模数据迁移,获得业务方高度认可。
实时风控数据采集平台建设 - 数据库架构与质量保障负责人
2018.03-2019.06
•- 项目背景:公司为互联网金融客户提供实时风控服务,需对终端设备行为、交易流水等数据进行毫秒级采集与校验,原有架构无法支撑高并发下的数据一致性要求。
•- 项目职责:作为数据库负责人,设计了基于Kafka+ClickHouse的实时数据管道架构,并利用物化视图实现数据预聚合;制定了一套基于状态机模型的校验规则,通过数据库触发器与消息队列联动实现实时去重与异常拦截;重构了核心采集接口的SQL,消除全表扫描。
•- 项目成果:数据采集端到端延迟从2秒降至200毫秒,校验准确率提升至99.8%,服务器CPU使用率下降30%,为风控模型提供了毫秒级的高质量数据输入。
电商用户行为分析数据治理项目 - 数据库开发与质量保障
2014.09-2015.12
•- 项目背景:为精准刻画用户购物路径,需要对埋点日志、点击流等行为数据进行全量采集与清洗,原有流程存在严重的数据丢失和重复问题。
•- 项目职责:分析不同终端(App、H5、小程序)行为数据特征,设计了一套基于JSON字段扩展的日志存储方案,兼顾灵活性与查询效率;搭建了基于Airflow的ETL质量监控任务,每日自动检测数据断流、主键冲突等异常,并通过邮件告警;优化了数据写入端的批量提交参数,使写入TPS提升5倍。
•- 项目成果:用户行为数据采集完整率从88%提升至99.5%,数据可用性显著提高,成功支撑了后续的推荐算法迭代与用户流失预警模型。
我笃信数据质量是系统的生命线,对采集链路的每一环节都抱有近乎执拗的追求。我习惯在异常中深挖,从性能波动里嗅出隐患,并快速构建修复路径。熟悉数据库底层机制与架构设计,擅用自动化手段给数据保障加码。同时,我更愿意充当团队间的“翻译器”,用简洁的技术语言拉齐开发与运维的认知,让保障措施真正落地。
自动化运维与数据质量保障实践:
基于Python开发数据库巡检与数据质量稽核工具,自动化采集表空间使用率、慢查询、数据倾斜等指标,并集成到企业微信告警,实现分钟级异常响应。
搭建Prometheus+Alertmanager的数据库监控体系,自定义Exporter采集MySQL与PostgreSQL的复制延迟、连接数及锁等待,结合Grafana看板大屏展示,保障核心采集链路的稳定运行。