技术小卷毛 の 记录之地

// ARTICLE · 2026.11.07

关于我的逆向爬虫之路

记录我补完爬虫基础的过程:从请求与解析,到反爬、验证码和工程化。

2026 年 11 月 7 日 1 分钟阅读
# 爬虫 # 学习

从「会用一点」开始

很早就能写出能跑的爬虫:发请求、拿 HTML、用选择器取数据。但遇到登录、限流、动态渲染和验证码时,结果就变成了碰运气。

所以决定把基础重新补一遍,不再满足于「能跑就行」。

正在补的部分

  • 请求本身:HTTP、Header、Cookie、Session、代理与超时
  • 页面解析:HTML 结构、CSS 选择器、XPath,以及正则的边界
  • 动态页面:浏览器渲染、接口抓包、请求参数还原
  • 工程习惯:限流、重试、去重、日志和失败恢复

接下来是验证码

验证码是目前最想啃下来的一块。计划从机器视觉出发,先做字符型验证码的识别,再逐步理解更复杂的对抗方式。

这条路不会很快,但每一步都值得记录。

这个系列会写什么

这里会持续更新踩过的坑、有效的工具和还不成熟的思考。不是教程合集,更像一份公开的学习笔记。

路还长,慢慢走。