AMAZING RESUME
188****2298niu****@***.com北京30男自动化爬虫工程师在职北京20k-30k •参加全国大学生数学建模竞赛，负责数据采集与清洗模块，使用Scrapy框架从多个公开数据平台抓取并整合赛题数据，借助XPath与CSS选择器完成结构化提取，队伍获省级二等奖。
•在数据库课程设计中，独立完成一个电影档案检索系统的原型，通过自编写的爬虫从豆瓣电影采集近万条影评，存入MySQL并设计合理的索引与分区方案，提升了复杂查询的响应速度，并积累了反爬处理的实战经验。
•自学Docker与Kubernetes基础，将之前开发的多个爬虫项目容器化，部署在实验室服务器集群上，利用CronJob实现定时抓取与健康检查，初步体验了爬虫任务的自动化运维。
北京某医疗科技有限公司 - 数据开发部医疗科技技术驱动型
2017.07-2020.06
•负责公司医疗数据平台的爬虫模块设计与迭代，专注于采集公立医院公示信息、药品价格与学术文献数据。
•主导了多个垂直行业的数据供给项目，如医药供应链报价采集、基层医疗政策文件追踪，通过设计动态抓取间隔与智能重试机制，降低了40%的封禁率。
•以Python为核心，结合SpiderFlow、Playwright等工具，实现了对复杂动态页面和WebSocket协议数据的高效抓取。
•深入分析各类反爬手段，落地了基于Redis的IP代理池（自建+付费混合）、浏览器指纹随机化以及简单的滑块验证码处理方案，保障了7×24小时无人值守采集。
•与数据清洗与分析团队密切配合，制定了统一的字段映射规范，使下游数据可用率提升至98%以上。
北京某金融信息服务有限公司 - 数据技术部金融科技行业头部
2020.07-2022.06
高级自动化爬虫工程师分布式架构团队管理智能调度
北京
•带领三人小组承担公司核心业务——金融理财平台舆情与竞品数据采集，覆盖银行、保险、基金等多类信息源。
•重新设计了基于Kubernetes的分布式爬虫架构，支持按需弹性伸缩，将日均采集量从500万条提升至2000万条，并降低了服务器成本。
•负责团队技术成长，定期组织反爬攻防演练与代码审查，培养组员独立解决复杂渲染问题的能力。
•实践无监督学习在爬虫调度中的应用，利用聚类算法对目标网站更新规律建模，动态调整抓取策略，减少无效请求约30%。
•与产品经理共同梳理数据需求，输出标准化接口文档，让爬虫服务从“被动响应”转向“主动推送”，赋能了多个业务线。
•项目目标是从国家药监局及各省级平台采集医疗器械注册证、备案凭证及变更记录，为合规部门提供数据支撑。
•我主导搭建了基于Scrapy-Redis的分布式爬虫系统，设计了多级任务队列，解决了不同平台数据格式差异大、更新频率不固定的问题。
•针对政府网站的访问限制，构建了包含ADSL拨号、云主机和代理服务的混合代理池，并实现了基于响应状态的自动切换，使可用IP日均维护量达到5000+。
•对PDF公告、图片格式的注册信息进行OCR识别与结构化提取，借助Tesseract与自研版面分析脚本，将非结构化数据转化率提升至85%。
•数据存储采用MongoDB分片集群，并建立增量同步机制，项目上线后，信息更新延迟从T+3缩短至T+0.5，支撑了合规审查自动化。
•项目需实时抓取上百家银行官网的理财公告、发行计划及净值变动，要求秒级延迟和零丢失。
•我设计了基于RabbitMQ和Redis Stream的双缓冲任务队列，结合异步非阻塞HTTP客户端，实现了高并发低延迟的采集通道。
•采用Headless Chrome集群与Puppeteer自动化脚本，解决了银行网站大量使用前端框架渲染和动态令牌验证的问题。
•对公告内容进行相似度哈希去重，并利用命名实体识别抽取产品代码、起息日、收益率等关键字段，形成结构化数据集。
•系统上线后，公告采集的时效性从分钟级压缩到5秒以内，数据完整率达到99.9%，有效支撑了风控模型的实时运算。
对数据采集与清洗有天然的热情，享受从海量噪声中提取干净信号的过程；代码洁癖促使我追求低耦合、高可维护的爬虫架构，面对反爬博弈能保持持续的攻防研究心态。具备分布式系统设计与运维敏锐度，习惯用监控指标驱动性能优化。沟通时善于翻译技术语言，期待在注重数据资产沉淀的团队中，用工程化手段保障数据稳定供给。
基于Scrapy-Redis的分布式爬虫调度实践:
业余时间搭建了一个分布式爬虫原型系统，使用Scrapy-Redis实现多节点共享请求队列，并结合Redis Bloom Filter进行URL去重，解决了单机爬虫的吞吐量瓶颈问题。
针对目标网站的反爬机制，构建了动态IP代理池和自适应请求频率控制器，通过重试中间件和异常熔断机制，使可用数据采集成功率提升约30%，并加深了对分布式系统一致性与容错的理解。
