Proksi ya upataji mmoja katika Scrapy shell

Tumia metadata ya proksi ya Request ndani ya Scrapy shell na kagua jibu kutoka kwa ombi hilo lililowekwa.

Ndani ya Scrapy shell, tengeneza ombi unalotaka kipakuzi lifanye:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware inasoma thamani ya proksi kutoka kwa metadata ya Request hiyo. Ni lazima iwe imewashwa katika usanidi wa middleware ya kipakuzi inayotumika. Kigezo cha response baadaye ni cha upataji huu. Kwa URL hii ya umma, chagua anwani ya HTTP isiyo na uthibitisho kutoka kwa orodha ya proksi za HTTP ikiwa wapatanishi wa umma wanaruhusiwa, kisha weka URL yake katika metadata ya proksi ya ombi hilo.

Kuanzisha shell kutoka kwa mradi wa Scrapy kunairuhusu kupakia usanidi wa mradi huo. Hiyo huchagua middleware na mipangilio mingine; yenyewe haichagui nukta maalum ya mwisho ya proksi. Metadata ya ombi hapo juu hutoa chaguo hilo moja kwa moja.

Kwa proksi inayotumia vitambulisho vya Basic, Scrapy huandika taarifa za mtumiaji katika URL ya proksi. Encodi herufi zilizohifadhiwa katika sehemu za akaunti kabla ya kuijenga. Hakuna haja ya kuongeza kichwa cha Authorization cha tovuti kwa akaunti hiyo.

Scrapy pia inaweza kugundua proksi kutoka kwa vigezo vya mazingira inavyosaidia. Metadata ya wazi ya proksi ya ombi ina kipaumbele. Kwa ombi la moja kwa moja kwa makusudi, thamani ya proksi None huzima uchaguzi wa msingi wa mazingira wa middleware hiyo kwa ombi.

Makala zinazohusiana