Scrapy-proxy-middleware: Request tsjin None as weromwearden

It proxy-adres feroaret yn it loch. De bestimming ferskynt nea yn it tagongsloch fan de proxy. Kontrolearje oft jo middleware de oanfraach wol by de downloader litte litte.

Yn 'e downloader-middleware fan Scrapy betsjut it weromjaan fan in Request dat dy oanfraach opnij pland wurdt. It betsjut net «gean troch mei dit objekt te stjoeren mei de metadata dy't ik krekt feroare haw».

Foar in selektor dy't allinnich in rûte kiest, is de wichtige foarm:

def process_request(self, request):
    request.meta['proxy'] = self.choose_proxy()
    return None

Dit fragmint lit de hjoeddeiske hookfoarm sjen; brûk de middleware-ynterface dy't de ynstallearre Scrapy-ferzje stipet. De selektor moat in jildich einpunt weromjaan en in net-beskikbere poel eksplisyt behannelje. In iepenbiere crawl dy't iepenbiere tuskenpersoanen tastiet, kin HTTP-kandidaten helje út 'e HTTP-proxy list foar dy weromwearde.

It weromjaan fan None lit de rest fan 'e oanfraachmiddleware en de downloader trochgean. It weromjaan fan in oare Request is nuttich as jo wurk bewust ferfange of opnij besykje, mar it hat in reden en in útgongsbetingst nedich.

In rotator dy't elke kear deselde oanfraach weromjout, kin syn eigen seleksjekoade hieltyd wer útfiere sûnder ea in ferbining mei de bestimming te meitsjen. It ferheegjen fan time-outs of it iepenjen fan mear proxy-poarten kin dy bestjoeringsstream-lus net reparearje.

Undersykje middleware-ynfier, weromgedrach en de earste echte netwurkpoging as aparte barren. In lochrigel dy't «proxy selektearre» seit, bewissiget allinnich dat de selektor rûn. It bewissiget net dat in oanfraach mei it selektearre einpunt ferstjoerd is.