Проксі для одного запиту в Scrapy shell

У Scrapy shell створіть запит, який має виконати завантажувач:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware читає значення проксі з метаданих цього Request. Він має бути увімкнений у конфігурації активного middleware завантажувача. Змінна response після цього належить цьому запиту. Для цієї публічної URL виберіть адресу HTTP без автентифікації зі списку HTTP-проксі, якщо публічні посередники дозволені, потім розмістіть її URL у метаданих проксі цього запиту.

Запуск оболонки з проєкту Scrapy дозволяє їй завантажити конфігурацію цього проєкту. Це вибирає middleware та інші налаштування; вона сама не вибирає конкретну кінцеву точку проксі. Метадані запиту вище надають цей вибір безпосередньо.

Для проксі з обліковими даними Basic Scrapy документує інформацію користувача в URL проксі. Закодуйте зарезервовані символи в компонентах облікового запису перед його створенням. Додавати заголовок Authorization сайту для цього облікового запису не потрібно.

Scrapy також може виявляти проксі зі своїх підтримуваних змінних середовища. Явні метадані проксі запиту мають пріоритет. Для навмисно прямого запиту значення проксі None вимикає вибір цього middleware на основі середовища для запиту.