Gleiche Proxy-IP, andere Ports: Sind das Duplikate?
IP-Adresse und Port identifizieren gemeinsam einen Endpunkt. Diese Unterscheidung zählt beim Importieren, Testen und Bereinigen einer Proxy-Liste.
Zwei Zeilen mit derselben IP-Adresse und unterschiedlichen Ports bezeichnen unterschiedliche Endpunkte. Wer eine Zeile nur wegen der wiederholten IP entfernt, kann einen funktionierenden Proxy oder ein anderes Proxy-Protokoll löschen.
203.0.113.10:8080 und 203.0.113.10:1080 verbinden sich beispielsweise mit unterschiedlichen Ports. Auf einem könnte HTTP laufen, auf dem anderen SOCKS5. Auch Zugriffsregeln und Verfügbarkeit können sich unterscheiden. Die Beispiel-Portnummern sagen nichts Sicheres über den tatsächlichen Dienst aus.
Den vollständigen Endpunkt testen
Läuft Port 8080 in ein Timeout, beweist eine erfolgreiche Anfrage an Port 1080 nicht, dass die erste Zeile funktioniert. Protokoll, Adresse und Port bei jedem Test festhalten. Ein Bericht mit nur „diese IP ist tot“ verliert Informationen, die das Ergebnis erklären könnten.
Auch umgekehrt gilt: Zwei Ports können letztlich dieselbe ausgehende Adresse verwenden. Dadurch werden sie nicht zum selben Verbindungsendpunkt. Sie können Infrastruktur oder Limits teilen; beide Zeilen zu behalten belegt daher weder zwei unabhängige Betreiber noch zwei verschiedene Ausgänge.
Was gilt als Duplikat?
Eine einfache Liste mit einem bekannten Protokoll anhand der normalisierten IP-Adresse und des numerischen Ports deduplizieren. Ein Python-Bereinigungsbeispiel nur für IPv4 wendet diese Regel auf einfache IP:port-Zeilen an. Enthält die Datei mehrere Protokolle, diese Information ebenfalls behalten. Beim Import aus einer Liste kostenloser Proxys das Protokoll zusammen mit jeder Adresse und jedem Port speichern.
Zwei Bezeichnungen für exakt dasselbe IP:port-Paar erfordern genauere Prüfung. Ein HTTP- und ein HTTPS-Eintrag könnten einen HTTP-Proxy beschreiben, der auch CONNECT unterstützt. Ein Dienst könnte auch mehrere Handshake-Arten akzeptieren. Datensätze erst zusammenführen, wenn die Bedeutung der Bezeichnungen klar ist; beim Bereinigen von Text keine Fähigkeiten verwerfen.
Formatierung kann scheinbare Unterschiede erzeugen
08080 und 8080 bezeichnen denselben Zahlenwert, wenn beide als dezimale Ports gemeint sind. Auch IPv6-Adressen haben mehrere gleichwertige Schreibweisen. Adresse und Port vor dem Vergleich normalisieren und die Originalquelle zur Fehlersuche behalten.
Deduplizierung verbessert das Listenformat. Sie prüft weder, ob ein Endpunkt online ist, noch ob zwei Endpunkte getrennte Ausgänge haben oder eine Länderangabe stimmt.