Проксі для аднаго запыту ў Scrapy shell
Выкарыстайце метаданыя проксі аб'екта Request у Scrapy shell і праверце адказ ад гэтага наладжанага запыту.
У Scrapy shell стварыце запыт, які павінен выканаць загрузчык:
from scrapy import Request
fetch(Request(
"https://www.example.com/",
meta={"proxy": "http://proxy.example:8080"},
))
response.status
HttpProxyMiddleware чытае значэнне проксі з метаданых гэтага Request. Ён павінен быць уключаны ў актыўнай канфігурацыі прамежкавага праграмнага забеспячэння загрузчыка. Зменная response пасля гэтага належыць да гэтага запыту. Для гэтага публічнага URL выберыце адрас HTTP без аўтэнтыфікацыі са спісу HTTP-проксі, калі публічныя пасярэднікі дазволены, затым змясціце яго URL у метаданыя проксі гэтага запыту.
Запуск shell з праекта Scrapy дазваляе яму загрузіць канфігурацыю гэтага праекта. Гэта выбірае прамежкавае ПЗ і іншыя налады; само яно не выбірае канкрэтную канечную кропку проксі. Метаданыя запыту вышэй даюць гэты выбар напрамую.
Для проксі з уліковымі данымі Basic Scrapy дакументуе інфармацыю карыстальніка ў URL проксі. Кадзіруйце зарэзерваваныя сімвалы ў частках уліковага запісу перад яго стварэннем. Дадаваць загаловак Authorization сайта для гэтага ўліковага запісу не трэба.
Scrapy таксама можа знаходзіць проксі з падтрымліваемых зменных асяроддзя. Яўныя метаданыя проксі запыту маюць прыярытэт. Для наўмысна прамога запыту значэнне проксі None адключае выбар гэтага прамежкавага ПЗ на аснове асяроддзя для запыту.