•系统修读大数据采集与清洗、数据质量评估、分布式系统容错等课程,对数据可靠性验证与自动化测试产生浓厚兴趣,逐渐形成“数据质量左移”的工程思维。
•加入校内大数据测试研究小组,负责搭建模拟数据湖环境,使用Pytest和Allure编写数据源接入验证脚本,累计发现并跟踪20余个ETL转换缺陷,积累了数据质量保障实战经验。
•作为技术负责人参加全国大学生软件测试大赛,自主设计大数据评测数据集的逻辑校验与性能测试方案,带队获得省级一等奖,强化了测试策略设计与团队抗压能力。
某大型电商平台 - 测试部电商行业领军企业数据驱动创新
2008.07-2013.12
大数据测试工程师数据平台测试ETL验证自动化测试
北京
•负责电商数据仓库的ETL过程验证,确保数据抽取、清洗、装载的准确性与完整性。
•设计覆盖离线与实时计算场景的测试用例,对用户行为分析、商品推荐等数据链路进行端到端测试。
•利用Spark编写自动化校验脚本,对比Hive表与源数据的一致性,提升回归测试效率。
•与数据开发工程师协同,对数据倾斜、长尾任务等性能问题进行专项测试,推动系统优化。
•编写测试度量报告,建立数据质量监控看板,为产品迭代提供可靠性依据。
某智能风控解决方案提供商 - 测试部金融科技新锐企业智能风控领先
2014.01-至今
大数据测试经理测试团队管理数据质量策略自动化效能提升
北京
•组建并管理10人规模的大数据测试团队,制定数据密集型项目的测试策略与质量保障体系。
•主导团队技能矩阵建设,引入混沌工程与数据一致性测试方法,提升团队对复杂场景的覆盖能力。
•与产品、风控建模团队紧密协作,深入理解反欺诈、信用评分等业务需求,设计数据验收方案。
•推动测试左移,在数据接入层即制定校验规则,并搭建自动化测试流水线,缩短反馈周期。
•定期复盘生产问题,沉淀数据质量案例库,将故障预防措施固化到测试流程中。
•负责平台的数据模型测试,制定覆盖用户标签计算、人群圈选等核心功能的测试方案。
•设计数据比对脚本,验证离线批处理与实时流计算结果的一致性,确保画像数据准确。
•使用JMeter模拟高并发查询,评估OLAP引擎的查询性能,并定位慢查询优化点。
•与数据开发团队结对,通过代码走查提前发现ETL逻辑缺陷,降低返工成本。
•输出了测试报告及数据质量SLA,为平台上线提供决策依据。
•负责系统数据链路测试,验证从事件采集、特征工程到模型评分的全流程数据准确性。
•设计安全测试场景,模拟数据篡改及重放攻击,检验系统对异常输入的防护能力。
•对风控模型进行离线与在线一致性验证,确保模型部署后的推理结果与训练预期一致。
•与业务专家合作,构造包含欺诈黑产的测试数据集,评估系统对新型欺诈模式的识别率。
•输出测试总结,提出数据质量监控与模型漂移检测的改进建议,推动系统持续优化。
大数据测试技术栈:
深耕Hadoop生态测试工具链,基于Hive元数据与Kafka消息队列构建测试数据生成与验证环境;熟练运用Spark、Flink开发数据管道端到端校验框架,集成Jenkins实现每日自动化回归,保障PB级数据的一致性。