python简单构建可用IP代理池_Python

python简单构建可用IP代理池

2022-09-18 17:33阿南-anan Python

这篇文章主要介绍了python构建简单可以代理池,实现过程匹配ip:port的正则表达式、匹配出所有的ip与端口，放入列表、判断爬取的代理ip是否可用、使用代理ip访问指定网站，具体实现需要的小伙伴可以参考下面文章内容

以下为简单示例：

				?

									import requests

									import re

									import telnetlib

									url='http://www.66ip.cn/nmtq.php?getnum=100000&isp=0&anonymoustype=4&start=&ports=&export=&ipaddress=&area=2&proxytype=0&api=66ip'

									header = {'User-agent':'xxxxxxxxxxx','Connection':'close'}

									page_text = requests.get(url=url,headers=header).text

									#用于匹配ip:port的正则表达式

									p = r'(?:((?:\d|[1-9]\d|1\d{2}|2[0-5][0-5])\.(?:\d|[1-9]\d|1\d{2}|2[0-5][0-5])\.(?:\d|[1-9]\d|1\d{2}|2[0-5][0-5])\.(?:\d|[1-9]\d|1\d{2}|2[0-5][0-5]))\D+?(6[0-5]{2}[0-3][0-5]|[1-5]\d{4}|[1-9]\d{1,3}|[0-9]))'

									#匹配出所有的ip与端口，放入列表

									iplist = re.findall(p,page_text)

									# 判断爬取的代理ip是否可用

									for i in iplist:

									    ip = i[0]+':'+i[1]+'\n'

									    try:

									        # 使用代理ip访问指定网站，能访问说明代理可用

									        # requests.get('http://www.baidu.com', proxies={"http": ip})

									        # 使用telnet测试代理是否可用

									        telnetlib.Telnet(i[0], port=i[1], timeout=3)

									    except:

									        print('connect failed')

									    else:

									        print(ip)

									        with open('ip.txt', 'a+', encoding='utf-8') as fp:

									            fp.write(ip)