Scrapy HTTP proxy middleware ilə hər sorğu üçün proksilər
Köhnə fərdi autentifikasiya middleware-ni crawler-ə köçürməzdən əvvəl Scrapy sorğu metadatasından və proxy middleware-dən istifadə edin.
Scrapy-nin HTTP proxy middleware-i proksini sorğu metadatasından oxuyur:
yield scrapy.Request(
'https://example.com/',
callback=self.parse,
meta={'proxy': 'http://203.0.113.10:8080'},
)Sənədləşmədəki endpoint-i dəyişdirin və middleware-i aktiv saxlayın. HTTP proxy siyahısı bu sorğu URL-i üçün açıq namizədlər təqdim edir. Bu, sorğunun marşrutunu seçir; proxy hovuzu ayrı seçim məntiqi tələb edir.
Autentifikasiya seçilmiş endpoint-i izləyir
Daxili middleware dəstəklənən proxy URL-i və əlaqəli authorization başlığı ilə verilən etimadnamələri idarə edir. Ehtiyat edilmiş URL simvollarını escape edin və həmin URL-i loglamayın.
Ayrı middleware endpoint dəyişdikdən sonra əvvəlki proxy üçün Basic başlığını saxlamamalıdır. Marşrutu və etimadnamələrini bir qat idarə etsin.
Seçim sırası və defoltlar
Fərdi downloader middleware proksini seçirsə, daxili proxy middleware sorğunu emal etməzdən əvvəl onu işə salın. Quraşdırılmış buraxılışın sırasını və API-ni yoxlayın; köhnəlmiş scrapy.contrib importları əvvəlki buraxılışlara aiddir.
Proses mühiti sxemə xas defoltlar da verə bilər. Qəsdən birbaşa sorğu üçün sənədləşdirilmiş xüsusi proxy metadata davranışından istifadə edin: olmayan açar mütləq birbaşa giriş demək deyil.
Faktiki nəticəni yoxlayın. 407 proxy autentifikasiyasına aiddir, saytın dərəcə limiti və ya giriş qadağası isə marşrut düzgün işlədikdən sonra gələ bilər.