Hetzelfde proxy-IP, andere poorten: zijn dat duplicaten?
Een IP-adres en poort identificeren samen een eindpunt. Houd dat onderscheid vast bij het importeren, testen en ontdubbelen van een proxylijst.
Twee regels met hetzelfde IP-adres en verschillende poorten zijn verschillende eindpunten. Een regel verwijderen alleen omdat het IP terugkomt kan een werkende proxy of een ander proxyprotocol verwijderen.
203.0.113.10:8080 en 203.0.113.10:1080 maken bijvoorbeeld verbinding met verschillende poorten. De ene kan HTTP gebruiken en de andere SOCKS5. Ook toegangsregels en beschikbaarheid kunnen verschillen. Deze voorbeeldpoorten zeggen niets met zekerheid over de werkelijke dienst.
Test het volledige eindpunt
Als poort 8080 een time-out geeft, bewijst een geslaagde aanvraag naar poort 1080 niet dat de eerste regel werkt. Leg bij elke test protocol, adres en poort vast. Een rapport met alleen ‘dit IP is dood’ verliest informatie die het resultaat kan verklaren.
Ook het omgekeerde geldt: twee poorten kunnen uiteindelijk hetzelfde uitgaande adres gebruiken. Dat maakt ze niet tot hetzelfde verbindingseindpunt. Ze kunnen infrastructuur of limieten delen. Beide regels bewaren bewijst dus niet dat je twee onafhankelijke beheerders of twee verschillende uitgangen hebt.
Wat telt als duplicaat?
Ontdubbel een eenvoudige lijst met één bekend protocol op het genormaliseerde IP-adres en de numerieke poort. Een Python-opschoonvoorbeeld voor uitsluitend IPv4 past die regel toe op gewone IP:port-regels. Bevat het bestand meerdere protocollen, bewaar die informatie dan ook. Bewaar bij import uit een lijst met gratis proxy’s het protocol bij elk adres en elke poort.
Twee labels voor exact hetzelfde IP:port vereisen nader onderzoek. Een HTTP- en een HTTPS-vermelding kunnen één HTTP-proxy beschrijven die ook CONNECT ondersteunt. Een dienst kan ook meerdere soorten handshakes accepteren. Voeg records pas samen wanneer de labels duidelijk zijn; gooi bij tekstopschoning geen mogelijkheden weg.
Opmaak kan schijnverschillen veroorzaken
08080 en 8080 hebben dezelfde numerieke waarde als beide decimale poorten voorstellen. IPv6-adressen kunnen eveneens meerdere gelijkwaardige tekstvormen hebben. Normaliseer adres en poort vóór de vergelijking en bewaar de oorspronkelijke bron voor probleemoplossing.
Ontdubbelen verbetert de opmaak van de lijst. Het controleert niet of een eindpunt online is, of twee eindpunten aparte uitgangen hebben of dat een landlabel klopt.