Stop een proxy-rotatielus die voor altijd blijft draaien
Geef een Python-proxypool een eindig pogingsbudget en onderscheid verbindingsfouten van antwoorden van de bestemming.
Een proxypool kan een eenvoudige storing veranderen in een drukke lus. Kies een adres, mislukt, kies een ander, mislukt opnieuw. Als elk eindpunt onbereikbaar is omdat je eigen netwerk platligt, lost het wisselen van adressen de oorzaak nooit op.
Geef de bewerking een budget voordat je de eerste proxy uit je pool of de lijst met gratis proxies kiest: een eindig aantal pogingen, begrensde wachttijden voor verbinding en lezen, en een deadline voor de hele taak. Een Requests-timeout beheert het gedocumenteerde verbindings- of leesgedrag; hij begrenst op zichzelf geen lus die steeds nieuwe verzoeken blijft sturen.
Bepaal wat nog een poging verdient
- Een geweigerde proxyverbinding kan rechtvaardigen dat je een ander eindpunt probeert.
- Een antwoord van de bestemming vereist zijn eigen interpretatie. Een HTTP-fout ontvangen bewijst dat een bepaald verzoekpad is voltooid.
- Een proxy-authenticatiefout vraagt om het eindpunt en account te controleren in plaats van dezelfde inloggegevens door een groeiende lijst te hameren.
Bewaar de oorspronkelijke uitzondering of status bij het pogingsrecord. Een slotbericht met alleen “alle proxies mislukt” verbergt of de fouten überhaupt dezelfde oorzaak hadden.
Elke proxy vóór elk echt verzoek op gezondheid controleren voegt nog een verzoek toe en kan nog steeds niet garanderen dat het volgende slaagt. Hergebruik recente gezondheidsinformatie waar die bij de taak past, en laat de echte bewerking daarna zijn eigen resultaat rapporteren.
Een nieuwe poging kan het werk herhalen
Bij een alleen-lezen ophaalactie is overstappen naar een andere proxy meestal eenvoudiger dan een inzending opnieuw afspelen. Als een verbinding wegvalt nadat een aankoop of formulierinzending is verzonden, heeft de bestemming die mogelijk al verwerkt. Volg het idempotentiemechanisme van de dienst en de HTTP-regels voor opnieuw proberen voordat je werk opnieuw afspeelt.
Zodra het budget op is, geef een bruikbare fout terug. Een taak die met bewijs stopt, is makkelijker te repareren dan een die stilletjes blijft roteren tot iemand het merkt.