Два параметри можуть вимкнути проксі-проміжне програмне забезпечення Scrapy

Перевірте об'єднаний список проміжного програмного забезпечення завантажувача та HTTPPROXY_ENABLED, перш ніж додавати ще одну копію вбудованого проксі-проміжного програмного забезпечення Scrapy.

HttpProxyMiddleware належить до вбудованих типових налаштувань завантажувача Scrapy. Щоб бути доступним, він не обов'язково має бути у власному словнику DOWNLOADER_MIDDLEWARES проєкту.

Є два окремі керування, які треба перевірити:

  • HTTPPROXY_ENABLED керує тим, чи ввімкнено вбудований компонент.
  • Значення None для шляху його класу в DOWNLOADER_MIDDLEWARES видаляє його з об'єднаного ланцюжка проміжного програмного забезпечення.

Наприклад, це явно вимикає типовий запис:

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None,
}

Видаліть це перевизначення, коли вбудований компонент має повернутися. Не копіюйте стару таблицю DOWNLOADER_MIDDLEWARES_BASE у проєкт лише для відновлення одного запису; Scrapy поєднує свої типові значення з перевизначеннями проєкту.

Увімкненому проміжному програмному забезпеченню все одно потрібен маршрут — із підтримуваних значень середовища або з метаданих проксі запиту. Його наявність у журналі запуску сама по собі не є призначенням запиту.

Дуже старі випуски Scrapy відрізнялися тим, коли компонент завантажувався без значень середовища проксі. Зберігайте встановлену версію разом із діагностикою, а не вважайте історичне спостереження епохи 1.3 поточним правилом увімкнення.

Схожі статті