牛敬业
188****2882niu****@***.com北京30男分布式爬虫工程师在职北京20k-30k 
•参加全国大学生数学建模竞赛，承担网络数据抓取与清洗任务，利用 Python 多线程高效采集评论数据，队伍获省级一等奖。
•作为校技术社团负责人，组织两次校内爬虫技术挑战赛，设计反爬场景与数据抓取题目，累计吸引 200 余人参与。
•主导公司通用分布式爬虫平台的迭代，重新梳理了任务调度与限速策略，使系统在应对日均千万级请求时仍能保持延迟可控，并降低了无效请求比例。
•设计基于 ZooKeeper 的 Worker 动态注册与心跳机制，配合自定义任务队列实现弹性扩缩，在促销季等流量高峰场景下将采集吞吐量提升了 35%。
•与数据产品团队共建基准数据源，提供金融资讯、企业公示信息等结构化数据，支撑内部风控与舆情分析模型的训练和调优。
•跟进浏览器自动化与无头渲染技术，将 Puppeteer 集群引入爬虫链路，解决了大量 SPA 页面的渲染难题，并推动爬虫配置化，使新站点接入时间缩短一半。
爬虫工程师Python开发垂直数据采集数据处理
北京
•独立研发面向招聘、房产等垂直领域的爬虫套件，利用中间件式架构复用登录、IP 切换模块，快速交付了 3 个行业数据采集项目。
•参与企业数据中台的离线数据接入模块建设，负责网页结构化抽取与异常监控，确保数据管道每日稳定产出百万级有效记录。
•通过协程与连接池优化，重构老旧爬虫链路，将单站点全量采集耗时压缩 25%，并完善了失败重试与断点续传能力。
•与质控团队配合，编写自动化回归用例，覆盖验证码、登录态失效等边界场景，显著降低了线上故障的发生频率。
•项目目标为采集主流房产平台的房源挂牌、成交及小区信息，支持市场趋势分析与估值模型。
•作为核心成员，设计基于 Scrapy-Redis + Kafka 的分布式采集链路，实现任务分片、URL 去重和失败自动转移，保证海量房源数据的完整性。
•针对房产网站的反爬策略，搭建了动态代理网关并集成滑块验证码破解模块，同时引入渲染集群处理地图轨迹等动态加载内容。
•项目上线后日均采集房源记录超 200 万条，数据可用率保持在 98% 以上，已成为公司市场研究团队的核心数据源。
•为一家公关咨询公司构建舆情爬虫，实时追踪新闻、论坛、股吧等多源信息，辅助客户进行声誉管理。
•主导技术选型，采用 Python 异步框架与 Redis Stream 实现全链路低延迟，配合自研调度器将抓取频率动态调整至秒级。
•设计基于 SimHash 的文本去重管道，结合情感标签与实体识别，向用户推送经过预处理的舆情事件，而非原始网页。
•系统稳定运行期间，平均每分钟处理 500 条以上信息，帮助客户将重大负面舆情的响应时间从小时级缩短至分钟级。
对数据采集与系统运维有天然执念，习惯在复杂反爬对抗中保持冷静拆解力；信奉代码简洁即维护性，追求自动化与容错设计，能从服务器日志中快速定位根因。擅长分布式任务调度与高可用架构搭建，具备跨团队技术沟通的耐心与清晰度，乐于沉淀技术文档。业余常折腾容器化部署与监控告警链，持续关注对抗性爬虫与合规采集的边界，希望在数据工程领域深耕可扩展、可观测的采集基础设施。
高可用代理池架构:
搭建分布式代理池，基于 Redis 存储代理分数与延迟，实现动态调度与自动剔除失效 IP，有效应对目标站点的反爬策略。
在社交媒体数据采集项目中，通过优化加权轮询调度算法，将代理有效利用率提升 35%，显著降低第三方代理采购成本。
验证码识别与反爬对策:
熟练运用传统图像处理与深度学习模型，针对滑块、点选、扭曲字符等验证码类型定制识别方案，打通自动化流程。
在招聘数据采集项目中，引入 ResNet+LSTM 组合模型，验证码识别率从 68% 提升至 92%，完全替代人工打码，采集效率翻倍。
