AMAZING RESUME
牛敬业
DBA数据采集专员
常怀探索之心,以实干沉淀自身价值
188****8428niu****@***.com北京30男DBA数据采集专员在职北京15k-20k •核心课程覆盖数据挖掘、数据库原理、分布式存储等,在课程设计中独立完成面向电商场景的数据采集与分析系统,实现了从公开数据源自动抓取、清洗入库到可视化报表的全流程,深入掌握了SQL调优与索引设计。
•加入校园数据竞赛团队,参与全国大学生大数据竞赛,负责数据爬取与预处理模块,运用Scrapy框架和代理池解决反爬问题,在团队协作中锻炼了数据质量保障和时效性优化的能力,最终获得华北赛区二等奖。
•参与开源数据社区项目,主导搭建校园舆情监测系统的后端,设计多源数据采集管道,将爬取的微博、论坛帖子经由Kafka缓冲后存入MySQL集群,并利用定时任务进行增量采集,积累了ETL与数据采集运维的实战经验。
•负责公司核心业务数据库的数据采集与同步,编写自动化脚本对多个异构数据源进行定时抽取,确保财务、订单等关键数据每日准点汇入分析平台。
•针对报表查询慢的问题,深入分析执行计划,重构表连接方式和复合索引,使TOP10慢查询的平均耗时从8秒降至2秒以内。
•主导数据库容灾方案落地,搭建延迟从库并配置增量备份策略,定期开展灾难恢复演练,实现RPO≤60秒、RTO≤15分钟。
•与BI团队和Java开发组协同,设计数据接入规范,提供SQL审核与优化建议,并编写数据模型文档,减少因接口变更导致的采集异常。
•主导公司用户行为数据采集平台的重构,引入Flink CDC实现多库实时捕获,将数据入湖延迟从分钟级压缩至秒级,采集吞吐量提升60%。
•负责MySQL集群和Redis缓存的日常巡检与容量规划,及时发现并处理了多次慢查询、锁冲突和内存碎片问题,保障全年服务可用性达99.99%。
•对用户留存、转化等核心指标进行数据回溯和清洗,输出人群画像中间表,支持运营团队制定精细化促销策略,活动响应率提升约25%。
•关注数据库技术演进,推动测试环境从单机MySQL向TiDB的迁移验证,撰写分布式事务测试报告,为后续生产扩容提供技术储备。
某物流平台经营分析数据采集系统 - DBA数据采集专员
2021.01-2021.12
•该项目为某物流平台构建从订单、运单到结算的全链路数据采集与分析系统。
•负责数据采集层架构设计,规划ODS-DWD-DWS分层模型,确保物流轨迹、支付流水等核心事实表结构清晰、兼顾扩展。
•实现对接MySQL、MongoDB及Kafka的多源数据采集通道,日均处理运单数据约800万条,并设计数据延迟监控告警。
•针对大促期间查询压力,对关键宽表进行分区裁剪和覆盖索引优化,使各区域经理的看板刷新时间从20秒压缩至5秒内。
•参与数据质量体系建设,编写数据校验规则脚本,对空值、重复、异常运输时效进行清洗,输出高质量基础数据供算法团队使用。
企业数据库系统多活架构改造项目 - DBA数据采集专员
2018.03-2018.09
•该项目是对公司单机房数据库进行同城双活架构改造,以提升容灾能力和读写扩展性。
•制定数据迁移与同步方案,通过DTS工具将超400GB业务数据从老库平滑迁移至新集群,并通过校验工具保证数据一致。
•优化新集群参数配置,调整InnoDB缓冲池、连接数限制及binlog格式,使核心交易事务TPS提升约40%。
•基于Prometheus+Grafana搭建数据库监控仪表盘,实时追踪复制延迟、磁盘吞吐和锁等待,发现问题后联动短信告警。
•编写标准化运维手册,涵盖日常巡检、切换演练、回滚步骤,并组织团队培训,使故障响应时间缩短50%。
对数据背后逻辑与秩序始终抱有热情,能从杂乱的原始信息中梳理出干净的结构,乐于把重复繁琐的采集工作做到稳定可靠。做事细致,对数据准确性和系统稳定性有近乎偏执的要求,习惯在监控告警与日志中主动发现隐患并闭环处理。具备多类型数据库的运维与调优手感,善用脚本和查询语言应对复杂取数需求,关注执行成本与资源开销。沟通上愿意做业务与技术之间的桥梁,对自动化运维、云上数据方案保持敏感,希望在一个看重数据质量的环境里持续精进。
分布式数据采集与存储实践:
深入理解分布式数据库的分区策略与副本一致性,具备TiDB集群的部署与监控经验,并在此基础上扩展了数据采集层:在测试环境中搭建了基于Canal的实时数据采集管道,将上游业务库的变更数据同步至TiDB,实现了异构数据源的汇聚;同时利用PD的调度特性,为高频写入的采集任务设计了热点打散方案,并验证了在节点故障下数据采集链路的自动切换能力,确保采集任务的高可用性。