Настройка на прокси за изтегляния с Python webdriver-manager

Дайте на Python webdriver-manager HttpClient с поддръжка на прокси чрез WDMDownloadManager, преди да използвате върнатия път до драйвера.

Аргументът --proxy-server на Chrome се прилага след стартиране на браузъра. webdriver-manager може да се нуждае от прокси по-рано — при търсене на съвместим драйвер и изтегляне на неговия архив.

import requests
from webdriver_manager.chrome import ChromeDriverManager
from webdriver_manager.core.download_manager import WDMDownloadManager
from webdriver_manager.core.http import HttpClient

class ProxyHttpClient(HttpClient):
    def __init__(self, session):
        self.session = session

    def get(self, url, params=None, **kwargs):
        kwargs.setdefault('timeout', 30)
        response = self.session.get(url, params=params, **kwargs)
        self.validate_response(response)
        return response

with requests.Session() as session:
    session.trust_env = False
    session.proxies.update({
        'http': 'http://proxy.example:8080',
        'https': 'http://proxy.example:8080',
    })
    downloader = WDMDownloadManager(ProxyHttpClient(session))
    driver_path = ChromeDriverManager(download_manager=downloader).install()

Този фрагмент предполага наличните зависимости webdriver-manager и Requests. Избраният прокси слушател е HTTP за двете схеми на местоназначение. За разрешени публични изтегляния на драйвери списъкът с HTTP прокси предоставя кандидати за прокси URL адресите на сесията. Дръжте Session активна, докато инсталацията или търсенето в кеша приключи, след което предайте driver_path на обичайната настройка на Selenium услугата в приложението.

Персонализираният метод get приема допълнителните HTTP аргументи на мениджъра и запазва валидирането на отговора. Изборът на прокси принадлежи на клиента за изтегляне; настройте Chrome отделно, когато навигацията също се нуждае от прокси.

trust_env=False прави конфигурацията на тази сесия явна, включително изключването на избора на CA пакет от средата. Ако маршрутът за изтегляне изисква корпоративен CA, предоставете желания пакет в настройката verify на тази сесия, като запазите проверките на сертификатите.

Подобни статии