Запыт можа адмовіцца ад уласнага прамежкавага ПЗ проксі і пры гэтым далей несці актыўны URL проксі ў сваіх метаданых. Убудаванае HttpProxyMiddleware у Scrapy чытае meta["proxy"]; яно не інтэрпрэтуе агульны сцяг dont_proxy.

Для запыту, які павінен ісці напрамую, яўна задайце:

request.meta["proxy"] = None

Яўнае None не дазваляе ўбудаванаму ПЗ выбраць проксі з яго налад асяроддзя для гэтага запыту. Простае выдаленне ключа зноў дазваляе такі аўтаматычны выбар.

Калі іншае ўсталяванае прамежкавае ПЗ выкарыстоўвае dont_proxy, пакіньце гэты сцяг і для яго дакументаванай мэты. Упарадкуйце паслядоўнасць ПЗ так, каб наступны кампанент не прызначыў URL проксі зноў. Праверце метаданыя пасля апошняга кампанента, які можа выбраць маршрут.

407 пасля ўсталявання ўласнага сцяга абыходу адпавядае пакінутаму маршруту проксі, але адзін статус не паказвае, якое ПЗ яго выбрала. Прасачыце дзейснае поле проксі праз апрацоўку гэтага запыту, замест таго каб меркаваць, што ўсе кампаненты маюць адзін слоўнік адмовы.

Падобныя артыкулы