Scrapy proksi ara qatı: Request və None qaytarma dəyərləri

Scrapy proksisini təyin etdikdən sonra idarəni qaytarın; eyni sorğunu yükləməzdən əvvəl təsadüfən yenidən planlaşdırmayın.

Jurnalda proksi ünvanı dəyişir. Təyinat heç vaxt proksinin giriş jurnalında görünmür. Ara qatınızın sorğunun ümumiyyətlə yükləyiciyə çatmasına imkan verib-vermədiyini yoxlayın.

Scrapy-nin yükləyici ara qatında Request qaytarmaq həmin sorğunun yenidən planlaşdırılması deməkdir. Bu, “bu obyekti indicə dəyişdiyim metadatanın içində göndərməyə davam et” demək deyil.

Yalnız marşrut seçən selektor üçün vacib forma budur:

def process_request(self, request):
    request.meta['proxy'] = self.choose_proxy()
    return None

Bu fraqment cari qoşma formasını göstərir; quraşdırılmış Scrapy buraxılışının dəstəklədiyi ara qat interfeysindən istifadə edin. Selektor etibarlı son nöqtə qaytarmalı və əlçatmaz hovuzu açıq şəkildə idarə etməlidir. İctimai vasitəçilərə icazə verən ictimai tarama, həmin qaytarma dəyəri üçün HTTP proksi siyahısından HTTP namizədləri götürə bilər.

None qaytarmaq qalan sorğu ara qatının və yükləyicinin davam etməsinə imkan verir. Başqa Request qaytarmaq işi qəsdən dəyişdirdikdə və ya yenidən cəhd etdikdə faydalıdır, lakin bunun üçün səbəb və çıxış şərti lazımdır.

Hər dəfə eyni sorğunu qaytaran rotator, heç vaxt təyinat bağlantısı qurmadan öz seçim kodunu təkrar-təkrar işlədə bilər. Gözləmə müddətlərini artırmaq və ya daha çox proksi portu açmaq o idarəetmə axını döngüsünü düzəldə bilməz.

Ara qat girişini, qaytarma davranışını və ilk real şəbəkə cəhdini ayrı hadisələr kimi yoxlayın. “seçilmiş proksi” deyən jurnal sətri yalnız selektorun işlədiyini təsdiqləyir. Seçilmiş son nöqtədən istifadə edilən sorğunun göndərildiyini təsdiqləmir.

Əlaqəli məqalələr