AMAZING RESUME
188****0831niu****@***.com北京30男ETL数据开发工程师在职北京20k-30k •系统学习了数据结构、数据库原理、操作系统、分布式计算等核心课程，绩点排名前15%，多次获得校级奖学金；
•作为技术骨干参与校园数据中台项目，设计并实现ETL调度引擎，处理日均10万条日志数据，项目获校级优秀实践奖；
•带领团队参加全国数学建模竞赛，基于Python完成数据清洗与预测建模，荣获省级二等奖。
•负责日常数据抽取与清洗，使用Python脚本和SQL存储过程从业务数据库与日志中采集订单、用户、商品等数据，保障数据新鲜度与完整性。
•参与数据仓库分层设计，优化缓慢变化维处理逻辑，提高下游查询效率30%以上。
•主动与运营和产品团队沟通，快速响应临时取数需求，设计自助查询视图，减少重复工作。
•重构部分老旧ETL任务，用增量同步替代全量拉取，并加入异常告警与自动重试机制，降低运维成本。
•主导大数据平台ETL流程的架构升级，引入Apache Spark进行分布式处理，将日处理数据量从百GB提升至数十TB，处理时长缩短40%。
•搭建流批一体数据处理框架，结合Kafka与Spark Streaming实现用户行为实时入仓，支撑实时大屏和推荐系统。
•开发数据质量监控模块，预设200+条校验规则，自动扫描数据表异常，周度输出质量报告，数据问题发现速度提升3倍。
•协同数据分析师构建用户画像宽表，设计维度退化与聚合方案，为管理层决策提供高效数据服务。
•参与公司电商交易数据清洗项目，负责从MySQL、MongoDB和埋点日志中抽取原始交易与访问数据。
•使用Python编写清洗脚本，处理缺失值、格式统一和去重，并利用Hive进行多维聚合。
•构建用户消费行为分析模型，输出用户RFM标签和商品关联度表，支持市场营销精准推送。
•与业务方合作，基于清洗后的数据制作周度转化率报表，辅助运营优化活动策略。
•负责从传统离线数仓向实时数仓的迁移方案设计，主导ETL流程重构，选用Kafka+Spark Streaming+ ClickHouse技术栈。
•实现核心业务主题（订单、支付、库存）的秒级延迟同步，设计变更数据捕获（CDC）策略，保证数据一致性。
•优化数据模型，用星型模型替换部分宽表，并建立预计算聚合表，提升即席查询性能。
•编写自动化迁移测试脚本，比对新旧系统千万级数据，确保迁移后数据一致性达到99.99%。
对数据背后隐藏的价值充满探索欲，习惯用严谨的逻辑与代码洁癖去构建稳定高效的管道；具备扎实的SQL与Python功底，熟悉Hive/Spark等框架，能针对复杂场景设计可靠的ETL方案；乐于主动协作，善于在跨团队沟通中精准对齐数据口径，并将对数据质量的偏执融入每一次清洗与调度优化；期待在数据开发领域持续精进，用自动化与监控为业务提供更干净、更及时的支撑。
数据质量治理平台:
搭建了数据质量自动化检查框架，支持灵活配置完整性、唯一性、一致性等规则，覆盖核心业务表。
编排100+校验规则，每日自动执行扫描，发现异常秒级推送钉钉/邮件通知至数据owner。
开发Dashboard展示质量KPI，按日报周报自动输出，帮助数据团队快速收敛问题，提升数据可用性。
