•以队长身份参加“中国软件杯”大学生软件设计大赛,带领团队开发大数据测试框架,获国家三等奖,提升了自动化测试脚本编写与缺陷定位能力。
大数据灰盒测试工程师数据中台测试流批一体验证故障注入测试
北京
•主导数据中台各模块的灰盒测试策略,从数据摄取、ETL转换到数据服务接口,设计覆盖全链路的测试方案,确保万亿级数据处理的业务逻辑准确无误。
•搭建基于Docker的测试环境,利用Kafka和Flink模拟真实数据流,对离线批处理与实时流计算进行交叉验证,提前暴露数据倾斜和序列化异常。
•引入混沌工程思想,随机注入节点故障、网络延迟和数据乱序,测试系统在异常状态下的自愈能力与数据最终一致性,推动架构容错升级。
•与数据架构师、算法工程师组成专项评审小组,从测试视角对数据模型设计和血缘关系提出改进建议,降低因上游变更引发的回归风险。
资深大数据灰盒测试工程师质量体系建设金融大数据测试自动化框架搭建
北京
•组建并带领10人测试小组,负责金融风控、用户画像等多个大数据产品的交付测试,制定质量度量标准和发布准入门禁,使线上缺陷逃逸率降低40%。
•针对高频交易风控场景,设计基于时间窗口的滑动验证模型,模拟千万级事件流,校验反欺诈规则引擎的窗口计算精度与延迟,保护了核心业务线。
•搭建自动化测试框架Gazelle,以Python为核心驱动,集成Spark作业验证、Hive数据校验和接口自动化,将核心回归测试周期从天级缩短至小时级。
•建立跨部门质量共建机制,与产品、SRE和数据开发团队定期复盘生产事件,推动可观测性改进,在数据质量监控平台中嵌入测试断言,实现预防式测试。
•该项目为智慧零售业务提供经营分析看板,处理线下门店与线上商城的全渠道订单数据。我作为灰盒测试负责人,重点验证数据模型从ODS到DWD、DWS层的转换逻辑。
•制定以数据一致性为核心的测试策略,针对不同门店的结算规则,构造差异化的订单、退款及促销数据,通过全量比对和抽样统计,确保报表指标与业务系统误差小于0.1%。
•使用Python开发数据生成器,模拟渠道日增百万级订单,并编写Spark SQL脚本自动比对Hive分区数据与源库快照,发现并修复了多处分区覆盖策略导致的指标错误。
•通过分析Spark作业的DAG调度图,定位到shuffle操作导致的性能瓶颈,配合开发优化数据倾斜和压缩算法,使数据处理耗时从4.5小时缩短至2.8小时。
•负责为智能风控实时决策引擎提供灰盒测试保障,该系统应用于消费金融的实时授信与反欺诈。我主要对特征计算和决策流进行深度验证。
•设计多维度的异常场景,包括设备指纹伪造、地址跳变、交易频次突增等,通过Kafka灌入模拟事件流,验证决策引擎对复杂事件序列的识别准确率和毫秒级响应。
•与开发共建测试数据工厂,利用Flink的旁路输出功能,实时捕获中间计算结果,与预期值进行比对,精准定位了逻辑回归模型在新特征上线时的计算偏差。
•输出系统性的测试报告,不仅包含功能与性能指标,还绘制了风险决策的准确率对比曲线,为模型迭代和项目上线提供了关键决策依据。
大数据测试工具链:
精通Apache JMeter分布式压力测试,能模拟海量数据并发写入场景并分析系统瓶颈;独立设计过基于DataFusion与Spark SQL的查询对比测试集,编写UDF测试用例验证计算逻辑一致性。