AMAZING RESUME · OPEN HORIZON
牛敬业
数据仓库性能调优工程师
188****9606niu****@***.com北京30男数据仓库性能调优工程师在职北京25k-35k •加入校云计算实验室，协助搭建了一套面向实验数据的 StarRocks 集群，对物化视图和分桶策略进行重构，支撑了 10 亿行日志的秒级聚合分析。
•在操作系统课程中，编写了一个多级缓存模拟器，通过对比 LRU、LFU 和 ARC 策略的命中率差异，直观理解了缓存策略对 I/O 密集型任务的影响，并延伸分析了数据仓库中缓存层的设计思路。
云帆数据科技有限公司 - 数据技术部企业级数据服务商
2018.07-2021.12
数据仓库性能调优工程师数据仓库巡检SQL 执行计划优化性能基线
北京
•负责公司经营分析数据仓库的日常巡检与性能基线管理，搭建 Prometheus + Grafana 监控面板，捕获查询排队、表倾斜、临时文件溢出等异常指标，主动预警并推动处理。
•针对财务、供应链等核心看板的慢 SQL，开展执行计划梳理与改写，利用分区裁剪、谓词下推、适当反范式化等手段，将 TOP 10 慢查询平均耗时压缩 35% 以上。
•协同数据建模团队，评审新主题域的多维模型，提出存储分布建议，避免跨节点 Shuffle 和大量小文件合并，从设计阶段保障查询性能。
•编写《数据仓库性能调优红宝书》，涵盖常见故障模式、诊断命令与应急操作，并组织季度内训，提升全组对查询优化器和资源队列的理解。
高级数据仓库性能调优工程师数据仓库全链路优化缓存加速团队技术规划
北京
•带领专项小组，对集团统一数据仓库进行全链路压测与容量规划，重新评估 80 余台物理节点的计算/存储配比，调整 YARN 资源队列与并行度参数，使混合负载下 TPC-DS 基准得分提升 42%。
•引入 Alluxio 作为热数据缓存层，重构高并发即席查询路径，将 BI 工具拖拽分析的 P99 延迟从 8 秒降至 2.8 秒，同时降低 HDFS 读 IO 压力。
•与营销、风控部门建立定期回访机制，针对客户画像圈选、实时榜单等场景，精简中间表链路，用物化视图替代反复计算，让典型业务报告刷新时间缩短 60%。
•主持技术雷达分享会，每两周解读一篇 SIGMOD/VLDB 最新论文，推动团队试验列式存储压缩算法与向量化执行引擎，并孵化出两个内部优化工具。
企业级数据仓库存算分离与加速项目 - 性能调优负责人
2020.03-2020.09
•项目背景：公司数据仓库日增数据量突破 2TB，晚间 ETL 与白天即席查询资源争抢严重，导致关键报表产出延迟。
•项目目标：在控制成本的前提下，提升混合负载场景下的查询效率与并发吞吐能力。
•我的角色：作为性能调优负责人，主导架构评估、方案设计及落地验证。
•实施过程：先通过查询日志分析，发现 70% 的 I/O 消耗集中在历史分区的高频全表扫描。于是将冷热数据分层，冷数据迁移至对象存储，热数据使用 SSD 加速，并引入弹性计算集群，实现存储与计算独立扩缩。同时，改造元数据服务，使其支持分区级别的自动路由。
•项目成果：核心看板查询平均响应时间下降 45%，ETL 窗口缩短 2 小时，集群整体吞吐量提升 55%，且存储成本下降约 30%。
实时风控数据接入与查询链路优化项目 - 性能调优工程师
2022.03-2022.06
•项目背景：新上线行为埋点系统，需将实时数据流写入数据仓库并与离线维度表关联，为风控提供秒级决策支持，但原有链路延迟高达 15 秒。
•项目目标：将端到端数据可见延迟控制在 3 秒以内，并保证关联查询的稳定性。
•实施过程：梳理 Kafka 到 MPP 的摄入流程，发现数据倾斜导致部分分区积压严重。通过自定义分区键、调整 Flink 并发度与 checkpoint 间隔，消除反压。同时，在查询端使用预聚合物化视图和分布式 Join 优化，将多次 shuffle 合并为一次。
•项目成果：数据接入延迟由 15 秒降至 1.8 秒，关联查询 P99 延迟从 4 秒降至 1.2 秒，顺利支撑了双十一期间的风控策略调用。
痴迷于数据仓库的极致响应速度，将每一次查询延迟的降低视为一场与代码的无声博弈；对性能瓶颈有本能般的警觉，习惯在日志与执行计划中抽丝剥茧。以严谨和韧劲为底色，擅长用工具链穿透深层根因，也乐于将优化策略翻译成可落地的协作方案。始终关注数据生态的演进，愿在调优一线持续打磨更可信、更敏捷的数据底座。
分布式系统与性能调优:
研究过分布式存储系统的数据均衡机制，用 Python 模拟了 Consistent Hashing 与虚拟节点在不同节点上下线时的迁移量，并针对数据仓库扩展场景设计了低成本的再平衡方案。
在网盘文件索引优化项目中，使用 Elasticsearch 替代传统数据库的 LIKE 查询，通过自定义分词器和冷热分离架构，将全文检索的 P99 延迟从 800ms 拉低到 120ms，同时降低了集群 CPU 负载。
