Proxy fyrir eitt sækja í Scrapy shell

Notaðu proxy-metagögn Request inni í Scrapy shell og skoðaðu svarið frá þeirri stilltu beiðni.

Inni í Scrapy shell skaltu smíða beiðnina sem þú vilt að niðurhalarinn framkvæmi:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware les proxy-gildið úr metagögnum þess Request. Það verður að vera virkt í stillingum virka niðurhalsmiðlagsins. Breytan response eftir það tilheyrir þessari sækju. Fyrir þetta opinbera URL skaltu velja HTTP-vistfang án auðkenningar úr HTTP-proxylistanum ef opinberir milliliðir eru leyfðir, og setja síðan URL þess í proxy-metagögn þeirrar beiðni.

Að ræsa shell úr Scrapy-verkefninu leyfir því að hlaða stillingum þess verkefnis. Það velur miðlara og aðrar stillingar; það velur ekki sjálft ákveðinn proxy-endapunkt. Beiðnimetagögnin hér að ofan veita það val beint.

Fyrir proxy sem notar Basic-skírteini skjalfestir Scrapy notendaupplýsingar í proxy-URL-inu. Kóðaðu frátekin tákn í reikningshlutunum áður en það er smíðað. Ekki þarf að bæta Authorization-haus vefsins við fyrir þann reikning.

Scrapy getur einnig fundið proxy úr studdum umhverfisbreytum sínum. Skýr proxy-metagögn beiðni ganga fyrir. Fyrir viljandi beina beiðni slökkvar proxy-gildið None á umhverfisbundnu vali þess miðlara fyrir beiðnina.

Tengdir greinar