Наладка проксі для спампоўкі Python webdriver-manager

Дайце Python webdriver-manager HttpClient з падтрымкай проксі праз WDMDownloadManager перад выкарыстаннем вернутага шляху да драйвера.

Аргумент Chrome --proxy-server дзейнічае пасля запуску браўзера. webdriver-manager можа спатрэбіцца проксі раней — падчас пошуку сумяшчальнага драйвера і спампоўкі яго архіва.

import requests
from webdriver_manager.chrome import ChromeDriverManager
from webdriver_manager.core.download_manager import WDMDownloadManager
from webdriver_manager.core.http import HttpClient

class ProxyHttpClient(HttpClient):
    def __init__(self, session):
        self.session = session

    def get(self, url, params=None, **kwargs):
        kwargs.setdefault('timeout', 30)
        response = self.session.get(url, params=params, **kwargs)
        self.validate_response(response)
        return response

with requests.Session() as session:
    session.trust_env = False
    session.proxies.update({
        'http': 'http://proxy.example:8080',
        'https': 'http://proxy.example:8080',
    })
    downloader = WDMDownloadManager(ProxyHttpClient(session))
    driver_path = ChromeDriverManager(download_manager=downloader).install()

Гэты фрагмент мяркуе наяўныя залежнасці webdriver-manager і Requests. Абраны слухач проксі — HTTP для абедзвюх схем прызначэння. Для дазволеных спамповак публічных драйвераў спіс HTTP-проксі дае кандыдатаў для проксі-URL сесіі. Трымайце Session актыўным, пакуль не завершыцца ўсталяванне або пошук у кэшы, затым перадайце driver_path у звычайную наладку службы Selenium праграмы.

Уласны метад get прымае дадатковыя HTTP-аргументы мэнэджара і захоўвае праверку адказу. Выбар проксі належыць кліенту спампоўкі; наладзьце Chrome асобна, калі навігацыі таксама патрэбны проксі.

trust_env=False робіць канфігурацыю гэтай сесіі яўнай, уключаючы адключэнне выбару CA-набора з асяроддзя. Калі маршрут спампоўкі патрабуе карпаратыўны CA, падайце патрэбны набор у наладцы verify гэтай сесіі, захаваўшы праверку сертыфікатаў.

Падобныя артыкулы