Bloklayan proksi hovuzu sorğusu Scrapy-ni dayandıra bilər

Tarayıcıda kifayət qədər paralel sorğu quraşdırılıb. Yenə də proksi hovuzundan başqa ünvan istədikdə dayanır. Daha çox proksi əlavə etmək bu dayanmanı dəyişmir.

Ümumi middleware nümunəsi requests.get(pool_url) çağırışını process_request() daxilində edir. Bu, Scrapy-nin asinxron mühərriki ilə əməkdaşlıq etməsi gözlənilən yolda sinxron şəbəkə əməliyyatıdır. Çağırış gözləyərkən eyni hadisə dövrəsi ipində əlaqəsiz işi saxlayа bilər.

İşdə iki sorğu var

Bir sorğu hovuz xidmətindən son nöqtə alır. Digəri həmin son nöqtədən istifadə edərək təyinatla əlaqə saxlayır. Onları ayrı-ayrılıqda ölçün və bildirin. Yavaş hovuz API-si tətbiq hələ qoşulmadan əvvəl hər seçilmiş proksini yavaş göstərə bilər.

Quraşdırılmış Scrapy versiyasının dəstəklədiyi asinxron aşkarlama inteqrasiyasından istifadə edin və ya hər sorğunun kritik yolundan kənarda məhdud yerli son nöqtə dəsti əldə edib yeniləyin. Bloklayan iş başqa yerə köçürülməlidirsə, o icraçıya öz limitlərini və vaxt aşımı idarəsini verin; limitsiz növbə sadəcə gecikməni yerini dəyişir.

Hər sorğu üçün avtomatik olaraq başqa aşkarlama çağırışı etməyin. Qısa ömürlü keş və ya icarəyə götürülmüş toplu, xidmətin faktiki son nöqtə siyasətinə uyğun olduqda hovuz xidmətindən asılılığı azalda bilər.

Uğursuz axtarışın nə demək olduğunu müəyyən edin

Boş və ya uğursuz hovuz cavabı proksi metadatasını səssizcə silib birbaşa sorğuya icazə verməməlidir. Açıq nəticə seçin: tapşırıq büdcəsi daxilində gözləmək, uğursuz olmaq və ya təsdiqlənmiş keşlənmiş son nöqtədən istifadə etmək.

Hovuz API-sinin öz marşrutunu da təmiz saxlayın. Əgər bu daxili xidmətdirsə, onun şəxsi host adını seçməyə kömək etdiyi proksidən keçirmək dairəvi asılılıq yarada bilər.

Aşkarlama əlaqəsiz işi bloklamadan işlədikdən sonra adi proksi əməliyyatını yoxlayın. Bunlar ayrı təmir işləridir və onların vaxtlaması jurnalda ayrı sahələrə layiqdir.