Ваш файл проксі — це пул, а не таблиця маршрутизації Requests

Перетворіть рядок автентифікованого списку проксі на вибрану кінцеву точку, не використовуючи адреси проксі як ключі маршрутизації призначення.

Виберіть один проксі з файлу, потім побудуйте карту маршрутів для запиту до сайту. Пул кандидатів у кінцеві точки сам по собі не є словником маршрутизації Requests.

  1. Розберіть рядок за визначеним форматом. Неформальний рядок IP:port:user:password неоднозначний, коли адреси IPv6 або облікові дані містять двокрапки. Для хоста IPv4, числового порту та імені користувача без двокрапок обмежений поділ може залишити решту тексту як пароль. Використовуйте окремі структуровані поля, коли ці обмеження не підходять.
  2. Виберіть кінцеву точку для цієї операції. Збережіть її фактичний протокол і закодуйте компоненти облікових даних під час побудови її URL. Тримайте це значення, що несе секрет, поза звичайними журналами.
  3. Зіставте схеми призначення з цим вибраним URL. Для одного вибраного HTTP-проксі карта може виглядати так:
routes = {
    'http': selected_proxy_url,
    'https': selected_proxy_url,
}

Ключі http і https вибирають схеми призначення. Ключ на кшталт http://203.0.113.10 натомість вибирає запити саме до цього хоста призначення; він не позначає проксі за цією адресою. Використання кожного IP проксі як ключа може залишити не пов'язаний сайт без потрібного маршруту.

Розберіть пул один раз, виберіть кінцеву точку та створіть зіставлення для виклику клієнта. Роздільне зберігання цих кроків дозволяє змінювати політику вибору, не змінюючи сенс ключів маршрутизації Requests.

Схожі статті