У Scrapy shell стварыце запыт, які павінен выканаць загрузчык:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware чытае значэнне проксі з метаданых гэтага Request. Ён павінен быць уключаны ў актыўнай канфігурацыі прамежкавага праграмнага забеспячэння загрузчыка. Зменная response пасля гэтага належыць да гэтага запыту. Для гэтага публічнага URL выберыце адрас HTTP без аўтэнтыфікацыі са спісу HTTP-проксі, калі публічныя пасярэднікі дазволены, затым змясціце яго URL у метаданыя проксі гэтага запыту.

Запуск shell з праекта Scrapy дазваляе яму загрузіць канфігурацыю гэтага праекта. Гэта выбірае прамежкавае ПЗ і іншыя налады; само яно не выбірае канкрэтную канечную кропку проксі. Метаданыя запыту вышэй даюць гэты выбар напрамую.

Для проксі з уліковымі данымі Basic Scrapy дакументуе інфармацыю карыстальніка ў URL проксі. Кадзіруйце зарэзерваваныя сімвалы ў частках уліковага запісу перад яго стварэннем. Дадаваць загаловак Authorization сайта для гэтага ўліковага запісу не трэба.

Scrapy таксама можа знаходзіць проксі з падтрымліваемых зменных асяроддзя. Яўныя метаданыя проксі запыту маюць прыярытэт. Для наўмысна прамога запыту значэнне проксі None адключае выбар гэтага прамежкавага ПЗ на аснове асяроддзя для запыту.

Падобныя артыкулы