从「会用一点」开始
很早就能写出能跑的爬虫:发请求、拿 HTML、用选择器取数据。但遇到登录、限流、动态渲染和验证码时,结果就变成了碰运气。
所以决定把基础重新补一遍,不再满足于「能跑就行」。
正在补的部分
- 请求本身:HTTP、Header、Cookie、Session、代理与超时
- 页面解析:HTML 结构、CSS 选择器、XPath,以及正则的边界
- 动态页面:浏览器渲染、接口抓包、请求参数还原
- 工程习惯:限流、重试、去重、日志和失败恢复
接下来是验证码
验证码是目前最想啃下来的一块。计划从机器视觉出发,先做字符型验证码的识别,再逐步理解更复杂的对抗方式。
这条路不会很快,但每一步都值得记录。
这个系列会写什么
这里会持续更新踩过的坑、有效的工具和还不成熟的思考。不是教程合集,更像一份公开的学习笔记。
路还长,慢慢走。