Eng Proxy-Rotatiounsschleef stoppen, ier si éiweg leeft
Gitt engem Python-Proxy-Pool e begrenzte Versuchsbudget a ënnerscheet Verbindungsfehler vun den Äntwerten vum Zil.
E Proxy-Pool kann aus engem einfachen Ausfall eng beschäftegt Schleef maachen. Adress wielen, scheiteren, eng aner wielen, nees scheiteren. Wann jeden Endpunkt net erreechbar ass, well däin eegent Netzwierk fort ass, behieft en Adresswechsel ni d'Ursaach.
Gitt dem Virgang e Budget, ier dir den éischte Proxy aus dengem Pool oder der Lëscht vu gratis Proxye wielt: eng endlech Unzuel u Versuchen, begrenzte Waardezäiten op Verbindung an Liesen an eng Frist fir déi ganz Aufgab. En Requests-Timeout steiert säin dokumentéierte Verbindungs- oder Liesverhalen; en begrenzt net vun sech aus eng Schleef, déi ëmmer nei Ufroe schéckt.
Entscheet, wat nach en Versuch verdéngt
- Eng verworf Proxy-Verbindung kann et rechtfertegen, en aneren Endpunkt ze probéieren.
- D'Äntwert vum Zil brauch hir eege Interpretatioun. En HTTP-Fehler ze kréien beweist, datt en Ufrowee ofgeschloss gouf.
- E Proxy-Authentifizéierungsfehler verlaangt, Endpunkt an Kont ze préiwen, amplaz déi selwecht Umeldungsdaten duerch eng wuessend Lëscht ze hammeren.
Behält déi ursprénglech Ausnam oder de Status beim Versuchsregistr. Eng Schlussmessage mat nëmmen „all Proxye sinn ausgefall“ verstoppt, ob d'Fehler iwwerhaapt déiselwecht Ursaach haten.
Jeden Proxy virun all richteger Ufro op Gesondheet ze préiwen, füügt eng weider Ufro dobäi a kann ëmmer nach net garantéieren, datt déi nächst geléngt. Benotzt rezent Gesondheetsinformatioun nach eng Kéier, wou se zur Aufgab passt, a loosst dann de richtege Virgang säin eegent Resultat mellen.
En neien Versuch kann d'Aarbecht widderhuelen
Bei engem reine Liesofruff ass et meeschtens méi einfach, op en anere Proxy ze wiesselen, wéi eng Iwwermëttlung nei ofzespillen. Wann eng Verbindung no der Soutti vun engem Akaf oder enger Formulaire-Iwwermëttlung ofgebrach ass, huet d'Zil se méiglecherweis schonn verschafft. Follegt dem Idempotenzmechanismus vum Service an den HTTP-Regelen fir neien Usaz, ier d'Aarbecht nei ofgespillt gëtt.
Soubal de Budget erschëpft ass, gitt en nëtzlechen Ausfall zréck. En Job, dee mat Beweiser stoppt, ass méi einfach ze reparéieren wéi een, deen a Stille weider rotéiert, bis een et mierkt.