python爬虫利用代理池更换IP的方法步骤_Python

python爬虫利用代理池更换IP的方法步骤

2021-09-07 00:40y4ung Python

这篇文章主要介绍了python爬虫利用代理池更换IP的方法步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

0. 前言

周日在爬一个国外网站的时候，发现用协程并发请求，并且请求次数太快的时候，会出现对方把我的服务器ip封掉的情况。于是网上找了一下开源的python 代理池，这里选择的是star数比较多的proxy_pool

1. 安装环境

				?

									# 安装python虚拟环境， python环境最好为python3.6，再往上的话，安装依赖时会报错

									sudo apt update

									sudo apt install python3.6

									pip3 install virtualenv

									virtualenv venv --python=python3.6

									source venv/bin/activate

									# 安装redis

									sudo apt install redis-server

									# 启动redis server

									redis-server

2. 安装依赖

				?

									git clone https://github.com/jhao104/proxy_pool.git

									cd proxy_pool

									pip install -r requirements.txt

3. 修改配置文件

				?

									# 修改setting.py 

									# 配置api服务

									host = "0.0.0.0"    # ip

									port = 5010     # 监听端口

									# 配置数据库

									# 以下为三个示例，根据redis的配置，选择其中一种即可

									# 一般启动redis时如果没有配置文件，那么选择第一种即可

									# 1. redis ip: 127.0.0.1 port: 6379

									db_conn = 'redis://@127.0.0.1:6379'

									# 2. redis ip: 127.0.0.1 port: 6379 password: 123456

									db_conn = 'redis://:123456@127.0.0.1:6379'

									# 3. redis ip: 127.0.0.1 port: 6379 password: 123456 db: 15

									db_conn = 'redis://:123456@127.0.0.1:6379/15'

									# 配置 proxyfetcher

									proxy_fetcher = [

									 "freeproxy01",  # 这里是启用的代理抓取方法名，所有fetch方法位于fetcher/proxyfetcher.py

									 "freeproxy02",

									 # ....

									]

4. 启动

				?

									# 可以用tmux开三个窗口

									# 启动调度程序

									python proxypool.py schedule

									# 启动webapi服务

									python proxypool.py server

5. 测试

				?

									import requests

									def get_proxy():

									 return requests.get("http://127.0.0.1:5010/get/").json()

									def delete_proxy(proxy):

									 requests.get("http://127.0.0.1:5010/delete/?proxy={}".format(proxy))

									# your spider code

									def gethtml():

									 # ....

									 retry_count = 5

									 proxy = get_proxy().get("proxy")

									 while retry_count > 0:

									  try:

									   html = requests.get('http://www.example.com', proxies={"http": "http://{}".format(proxy)})

									   # 使用代理访问

									   return html

									  except exception:

									   retry_count -= 1

									 # 删除代理池中代理

									 delete_proxy(proxy)

									 return none