为何要使用代理 IP
很多时候，目标网站对单 IP 的请求有频率限制，如果要最大限度的发挥单机采集效率，就不得不使用代理 IP。甚至是大量的代理 IP。
使用代理的逻辑
- 建立一个数据表用于存储代理 IP。主要目的是防止不同服务器上的进程使用了同一代理。
- 每个进程启动时，从数据表里拉取一个可用的 IP，标识为已被使用。最好能够按照响应时间进行排序，优先获取当前延时最小的代理
- 当一个代理失效后，从数据表表再获取一个代理，并将原代理标识为废弃
- 定期更新这个数据表
很多时候，目标网站对单 IP 的请求有频率限制，如果要最大限度的发挥单机采集效率，就不得不使用代理 IP。甚至是大量的代理 IP。