•主修了操作系统内核、算法设计与分析、分布式计算、高性能网络编程等课程，为爬虫系统的并发调度、容错恢复与资源优化奠定了理论基础。
•通过LeetCode算法强化训练与蓝桥杯编程竞赛，提升了代码效率与边界条件处理能力；在校园二手交易平台中独立设计并实现了商品信息多线程爬虫，初次完成从请求发送到数据入库的全流程开发。
•毕业设计以《基于行为模拟的微博反爬突破系统》为题，通过模拟鼠标轨迹、随机延迟与动态User-Agent，成功绕过复杂反爬策略，获评校级优秀毕业设计。
北京某数据科技有限公司 - 数据采集部数据服务技术驱动
2015.07-2018.12
企业级爬虫工程师定制化采集方案高级反爬对抗数据质量保障
北京
•主导公司数据采集中台的建设，为零售、物流等行业客户提供企业级爬虫解决方案。根据客户真实业务场景，设计定制化采集策略，对页面结构频繁变化的网站，采用自适应的XPath生成算法，保证采集脚本的长期可用。
•攻克了大量前沿反爬手段，包括但不限于动态字体反爬、Canvas指纹检测、WebDriver特征识别等。通过定制化的浏览器自动化框架，结合机器学习验证码识别模型，将高难度站点的采集成功率提升至90%以上。
•搭建了结构化的数据清洗流水线，编写了超过50个ETL规则，对原始数据进行去重、异常值检测、字段标准化，并自动生成数据质量报告，为下游的数据分析团队提供了坚实可靠的数据基础。
•组织团队技术分享，将Scrapy-Redis、Splash等工具的最佳实践推广至全组，同时引入代码质量检查工具，有效降低了线上故障率。
北京某智能科技有限公司 - 大数据平台部大数据服务行业领先
2019.01-2022.06
资深企业级爬虫工程师实时舆情采集系统吞吐优化客户方案交付
北京
•带领团队构建了企业级舆情监控爬虫系统，针对新闻、论坛、社交媒体等多源异构网站，设计了混合式爬虫架构。利用Scrapy-Redis实现分布式任务调度，结合Kafka消息队列进行削峰填谷，实现日均千万级数据的实时采集与入库。
•系统性优化了爬虫系统的性能与稳定性。通过引入智能请求调度算法，动态调整抓取间隔，并利用Redis缓存热点数据，使系统整体吞吐量提升了40%，同时将服务可用性维持在99.95%以上。
•深入客户业务一线，为金融风控、市场调研等场景提供定制化数据采集方案。负责从需求分析、技术方案设计到最终交付的全流程，并制作了完善的培训材料，保障客户团队能够独立运营和维护爬虫系统。
•持续关注技术社区动态，将Apache Airflow和Docker容器化部署引入团队，实现了爬虫任务的自动化编排与快速部署，使项目管理效率显著提升。
•该项目旨在采集全行业招聘网站上的企业信息与职位数据，为HR SaaS产品提供数据底座。我作为项目负责人，首先对目标网站的API与页面渲染方式进行了逆向分析，梳理出数据流的完整链路。
•设计了分布式多级爬虫架构，采用Scrapy框架对接Redis布隆过滤器，有效避免重复抓取；使用MongoDB分片集群存储海量异构数据。针对网站的滑块验证码与行为检测，实现了基于Selenium的模拟操作和基于CNN的滑块缺口识别模型，验证码通过率达到92%。
•在项目实施中，带领4人团队进行敏捷开发，通过压力测试确定了最优并发数与请求重试策略，最终使系统在日均抓取200万次请求的负载下，数据完整率超过97%。
•对采集到的原始数据进行深度清洗，包括职位描述文本的格式化、企业信息的实体对齐，以及基于规则的多分类标签体系构建，为后续的智能匹配与推荐算法提供了高质量的数据输入。
某金融机构舆情数据采集系统开发项目 - 技术负责人
2020.03-2020.09
•为某头部金融机构构建了全网舆情数据采集系统，覆盖财经网站、股吧、微博等渠道，用于投资决策辅助。我主导了技术方案设计，并负责核心采集模块的开发。
•针对舆情数据的实时性要求，设计了双通道采集方案：实时通道使用Playwright模拟浏览器，监听目标页面的DOM变化，将敏感信息延迟控制在秒级；批量通道则基于Scrapy框架，每日定时采集历史新闻与公告，并结合Airflow进行任务编排。
•建立了严密的数据校验体系，不仅对文本内容的格式、发布时间进行验证，还通过NLP技术对情感倾向和实体关系进行初步分析，剔除无效或错误信息，将有效数据准确率提升至98.5%。
•系统上线后平稳运行，每日入库超过10万条高质量舆情数据，为金融机构的舆情预警、风险建模提供了关键的数据支撑，获得了客户的高度认可。
数据可视化与交互看板:
熟练运用Plotly、Streamlit及Grafana搭建实时监控看板，对爬虫采集的原始数据进行聚合、清洗与多维度可视化，以动态图表呈现关键指标趋势、异常预警与地域分布，支撑业务团队快速洞察数据价值。
验证码识别与对抗生成:
基于PyTorch构建轻量级卷积神经网络，针对滑动拼图、点选文字等高难度验证码类型进行样本增强与模型训练，线上识别准确率达95%以上；将模型封装为独立微服务，供爬虫集群实时调用，显著提升自动化登录与采集的通行率。
