Due righe con lo stesso indirizzo IP e porte diverse indicano endpoint diversi. Eliminarne una solo perché l’IP si ripete può rimuovere un proxy funzionante o un diverso protocollo proxy.

Per esempio, 203.0.113.10:8080 e 203.0.113.10:1080 si collegano a porte diverse. Una può usare HTTP e l’altra SOCKS5. Anche regole di accesso e disponibilità possono essere diverse. Queste porte di esempio non danno alcuna certezza sul servizio effettivo.

Verifica l’endpoint completo

Se la porta 8080 va in timeout, una richiesta riuscita alla porta 1080 non dimostra che la prima riga funzioni. Registra protocollo, indirizzo e porta per ogni prova. Un rapporto che dice soltanto «questo IP non funziona» perde informazioni utili a spiegare il risultato.

Vale anche il contrario: due porte possono infine usare lo stesso indirizzo di uscita. Questo non le rende lo stesso endpoint di connessione. Possono condividere infrastruttura o limiti; mantenere entrambe le righe non dimostra quindi di avere due gestori indipendenti o due uscite diverse.

Che cosa va considerato duplicato?

Per un elenco semplice con un unico protocollo noto, deduplica in base all’IP normalizzato e alla porta numerica. Un esempio di pulizia in Python limitato a IPv4 applica questa regola a semplici righe IP:port. Se il file mescola protocolli, conserva anche questa informazione. Importando voci da un elenco di proxy gratuiti, mantieni il protocollo accanto a ciascun indirizzo e porta.

Due etichette sullo stesso identico IP:port richiedono un esame più attento. Una voce HTTP e una HTTPS possono descrivere un solo proxy HTTP che supporta anche CONNECT. Un servizio potrebbe inoltre accettare più tipi di handshake. Unisci i record solo dopo aver capito le etichette; non eliminare capacità durante la pulizia del testo.

La formattazione può creare false differenze

08080 e 8080 indicano lo stesso valore numerico se entrambi rappresentano porte decimali. Anche gli indirizzi IPv6 possono avere più forme testuali equivalenti. Normalizza indirizzo e porta prima del confronto, conservando la fonte originale per la diagnosi dei problemi.

La deduplicazione migliora il formato dell’elenco. Non verifica se un endpoint è online, se due endpoint hanno uscite separate o se l’etichetta del paese è corretta.

Articoli correlati