Middleware proxy i Scrapy: vlerat e kthimit Request dhe None

Adresa e proxy-t ndryshon në regjistër. Destinacioni nuk shfaqet kurrë në regjistrin e hyrjes së proxy-t. Kontrolloni nëse middleware-i juaj e lejon kërkesën të arrijë te shkarkuesi.

Në middleware-in e shkarkuesit të Scrapy, kthimi i një Request do të thotë riplanifikim i asaj kërkese. Nuk do të thotë «vazhdoni ta dërgoni këtë objekt me metadata që sapo ndryshova».

Për një përzgjedhës që zgjedh vetëm një rrugë, forma e rëndësishme është:

def process_request(self, request):
    request.meta['proxy'] = self.choose_proxy()
    return None

Ky fragment tregon formën aktuale të grepjes; përdorni ndërfaqen e middleware-it që mbështetet nga versioni i instaluar i Scrapy. Përzgjedhësi duhet të kthejë një pikë fundore të vlefshme dhe të trajtojë në mënyrë të qartë një grup të padisponueshëm. Një zvarritje publike që lejon ndërmjetës publikë mund të marrë kandidatë HTTP nga lista e proxy-ve HTTP për atë vlerë kthimi.

Kthimi i None lejon middleware-in e mbetur të kërkesave dhe shkarkuesin të vazhdojnë. Kthimi i një Request tjetër është i dobishëm kur zëvendësoni ose riprovoni qëllimisht punën, por kërkon një arsye dhe një kusht daljeje.

Një rrotullues që kthen të njëjtën kërkesë çdo herë mund të ekzekutojë vazhdimisht kodin e vet të përzgjedhjes pa krijuar kurrë një lidhje me destinacionin. Rritja e afateve ose hapja e më shumë portave proxy nuk mund ta rregullojë atë cikël të rrjedhës së kontrollit.

Shqyrtoni hyrjen në middleware, sjelljen e kthimit dhe përpjekjen e parë reale të rrjetit si ngjarje të veçanta. Një rresht regjistri që thotë «proxy u zgjodh» provon vetëm se përzgjedhësi u ekzekutua. Nuk provon se u dërgua një kërkesë me pikën fundore të zgjedhur.