Два параметры могуць адключыць проксі-прамежкавае ПЗ Scrapy

Праверце аб'яднаны спіс прамежкавага ПЗ загрузкі і HTTPPROXY_ENABLED, перш чым дадаваць яшчэ адну копію ўбудаванага проксі-прамежкавага ПЗ Scrapy.

HttpProxyMiddleware належыць да ўбудаваных стандартных налад загрузкі Scrapy. Каб быць даступным, ён не абавязаны з'яўляцца ва ўласным слоўніку DOWNLOADER_MIDDLEWARES праекта.

Ёсць два асобныя кіраванні, якія трэба праверыць:

  • HTTPPROXY_ENABLED кіруе тым, ці ўключаны ўбудаваны кампанент.
  • Значэнне None для яго шляху класа ў DOWNLOADER_MIDDLEWARES выдаляе яго з аб'яднанага ланцуга прамежкавага ПЗ.

Напрыклад, гэта відавочна адключае стандартны запіс:

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None,
}

Выдаліце гэтае пераазначэнне, калі ўбудаваны кампанент павінен вярнуцца. Не капіруйце старую табліцу DOWNLOADER_MIDDLEWARES_BASE у праект толькі дзеля аднаўлення аднаго запісу; Scrapy аб'ядноўвае свае стандартныя налады з пераазначэннямі праекта.

Уключанае прамежкавае ПЗ усё яшчэ патрабуе маршруту — з падтрыманых значэнняў асяроддзя або з метаданых проксі запыту. Яго наяўнасць у журнале запуску само па сабе не з'яўляецца прызначэннем запыту.

Вельмі старыя выпускі Scrapy адрозніваліся ў тым, калі кампанент загружаўся без значэнняў асяроддзя проксі. Захоўвайце ўсталяваную версію разам з дыягностыкай, замест таго каб лічыць гістарычнае назіранне эпохі 1.3 бягучым правілам уключэння.

Падобныя артыкулы