爬虫工程师头铁
如果爬虫工程师手里拿不出一些可用的代理 IP，有些人说不出来。毕竟，我们每天都面临着各种各样的反爬行场景。没有代理，工作真的很难开始。因此，都有一个小任务来找到一个稳定的代理来源。
今天在互联网上畅游，找代理 IP 当你发现一个新的代理网站时，你必须尝试一下，网站认证会发送流量。网站的名字叫做 IPIDEA，是专门做海外代理的网站。
注册后，客服人员立即通过电话发送流量，这项服务不用说。
下面你可以在注册的同时学习以下概念，这与中级爬虫工程师密切相关！如果你还在学习，这个博客可以让你提前联系中级知识点。
住宅代理是什么？ IP
住宅 IP 地址与物理设备绑定 IP 地址，动态 IP 不同的是，服务器将住宅 IP 作为一个真实的人，我们有更高的安全性和稳定性。因此，我们可以将自己的位置改为世界各国和地区的家庭地址，从而从指定的位置访问目标站点，避免地理限制。
为什么要用住宅代理？ 一定是因为某些原因，你想隐藏它 IP 地址，作为一名爬虫工程师，定会用到，比如网络抓取、广告验证、网络营销……，假如你在学习 Python 爬虫，住宅代理 IP 不熟悉使用场景，也可以去代理 IP 在提供解决方案的产品网站上，一定有市场上最需要的技术。
代理实战
目标网站已经存在，需要收集代理数据。毕竟作为程序员，每次都不能手动获取。 IP，打开菜单栏中的【代理服务】，结果直接发现 API Demo，好家伙，真方便。
橡皮擦在实战中测试了多种代理类型，如 API 链接形式、账密认证形式、IP 端口形式。作为代理平台，ipidea 支持的协议类型有，http/https/socks5.满足常用场景的实战需求。
点击 API 获取后(需要实名注册) API 链接 复制上述地址，填写到下文图片后的代码中，即可实现代理 IP 提取器。
测试代码如下：
# coding=utf-8 # !/usr/bin/env python import json import threading import time import requests as rq headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:85.0) Gecko/20100101 Firefox/85.0", "Accept": "text/html,application/xhtml xml,application/xml;q=0.9,image/webp,*/*;q=0.8", "Accept-Language": "zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2", "Accept-Encoding": "gzip, deflate, br" } testUrl = 'https://api.myip.la/en?json' # 核心业务 def testPost(host, port): proxies = {
'http': 'http:{}.format(host, port), 'https': 'http:{}.format(host, port), } res = "" while True: try: res = rq.get(testUrl, proxies=proxies, timeout=5)
# print(res.status_code)
print(res.status_code, "***", res.text)
break
except Exception as e:
print(e)
break
return
class ThreadFactory(threading.Thread):
def __init__(self, host, port):
threading.Thread.__init__(self)
self.host = host
self.port = port
def run(self):
testPost(self.host, self.port)
# 提取代理的链接 json类型的返回值
tiqu = 'http://api.proxy.ipidea.io/getProxyIp...刚刚复制的地址'
while 1 == 1:
# 每次提取10个，放入线程中
resp = rq.get(url=tiqu, timeout=5)
try:
if resp.status_code == 200:
dataBean = json.loads(resp.text)
else:
print("获取失败")
time.sleep(1)
continue
except ValueError:
print("获取失败")
time.sleep(1)
continue
else:
# 解析json数组
print("code=", dataBean["code"])
code = dataBean["code"]
if code == 0:
threads = []
for proxy in dataBean["data"]:
threads.append(ThreadFactory(proxy["ip"], proxy["port"]))
for t in threads: # 开启线程
t.start()
time.sleep(0.01)
for t in threads: # 阻塞线程
t.join()
# break
time.sleep(1)
实战中，可以每次获取一个 IP，只需要按照 API 参数说明，修改请求地址即可。
运行代码，得到下述输出，这里需要看你向接口传递的数据返回类型。
{
"code":0,"success":true,"msg":"请求成功","request_ip":"124.236.251.177","data":[{
"ip":"3.64.130.48","port":17704}]}
Python 使用代理
在获取了代理 IP 之后，就可以配合 requests 模块完成代理请求操作。 测试代码如下所示：
import requests
import json
url = 'https://httpbin.org/get'
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:85.0) Gecko/20100101 Firefox/85.0",
}
api_url = 'http://api.proxy.ipidea.io/getProxyIp?num=1&return_type=json&lb=1&sb=0&flow=1®ions=&protocol=http'
res = requests.post(api_url, verify=False)
ip_port = res.json()
proxie = "http://%s:%d" % (ip_port["data"][0]["ip"], ip_port["data"][0]["port"])
proxies = {
'http': proxie, 'https': proxie}
print(proxies)
html = requests.get(url=url, headers=headers, proxies=proxies, verify=False).text
print(html)
在正式使用代理时，还需要测试一下代理是否可用，这里橡皮擦用到了 IP 检测工具，发现 ipidea 提供的 IP 都是优质 IP，延迟很低，非常不错~
浏览器使用代理
如果你不是 Python 爬虫工程师，仅仅是选择一款代理工具，或者希望将代理应用到浏览器中，在这个代理服务平台上，也找到了相关教程，而且写的非常详细。
可以点击这里进行学习~
重点来了
在这个站点上发现了一个独有的产品：【IPIDEA 网页解锁器】，官网的描述是： IPIDEA 专业技术研发“网页解锁工具”，实现网页爬虫技术可用率大于 99.99%。无需任何经验，只需轻点发送请求，就可获得准确的可用数据。
不说了，这么好用的功能，我先行一步，一起来吗？点击蓝色字体，收获一个稳定，高质量，高可用，可免费试用的代理 IP 平台！