dont_proxy не очищає поле proxy у Scrapy

Запит може відмовитися від власного проміжного ПЗ проксі й усе одно нести активну URL-адресу проксі у своїх метаданих. Вбудоване HttpProxyMiddleware Scrapy читає meta["proxy"]; воно не інтерпретує загальний прапорець dont_proxy.

Для запиту, який має йти напряму, явно задайте:

request.meta["proxy"] = None

Явне None не дає вбудованому проміжному ПЗ вибрати проксі з налаштувань середовища для цього запиту. Якщо лише видалити ключ, автоматичний вибір знову стане можливим.

Якщо інше встановлене проміжне ПЗ використовує dont_proxy, збережіть цей прапорець і для його задокументованої мети. Упорядкуйте послідовність проміжного ПЗ так, щоб пізніший компонент не призначив URL-адресу проксі знову. Перегляньте метадані після останнього компонента, який може вибрати маршрут.

Код 407 після встановлення власного прапорця обходу узгоджується з наявним маршрутом проксі, але сам статус не вказує, яке проміжне ПЗ його вибрало. Прослідкуйте чинне поле proxy протягом обробки цього запиту, а не припускайте, що всі компоненти поділяють однаковий словник відмови.