Две настройки могат да изключат прокси междинния софтуер на Scrapy

Проверете обединения списък на междинния софтуер за изтегляне и HTTPPROXY_ENABLED, преди да добавите още едно копие на вградения прокси междинен софтуер на Scrapy.

HttpProxyMiddleware принадлежи към вградените настройки по подразбиране за изтегляне на Scrapy. Не е необходимо да присъства в собствения речник DOWNLOADER_MIDDLEWARES на проекта, за да бъде наличен.

Има две отделни управления за проверка:

  • HTTPPROXY_ENABLED управлява дали вграденият компонент е включен.
  • Стойност None за пътя на класа му в DOWNLOADER_MIDDLEWARES го премахва от обединената верига на междинния софтуер.

Например, това изрично изключва записа по подразбиране:

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None,
}

Премахнете това заместване, когато вграденият компонент трябва да се върне. Не копирайте стара таблица DOWNLOADER_MIDDLEWARES_BASE в проекта само за да възстановите един запис; Scrapy комбинира своите настройки по подразбиране със заместванията на проекта.

Включеният междинен софтуер все още се нуждае от маршрут — от поддържани стойности на средата или от прокси метаданните на заявката. Присъствието му в стартовия журнал само по себе си не е задаване на заявка.

Много старите версии на Scrapy се различаваха по това кога компонентът се зарежда без стойности на средата за прокси. Запазете инсталираната версия заедно с диагнозата, вместо да приемате историческо наблюдение от епохата на 1.3 за текущо правило за включване.

Подобни статии