Deux lignes avec la même adresse IP et des ports différents désignent des points de connexion différents. Supprimer une ligne uniquement parce que l’IP se répète peut éliminer un proxy fonctionnel ou un autre protocole de proxy.

Par exemple, 203.0.113.10:8080 et 203.0.113.10:1080 se connectent à des ports différents. L’un peut utiliser HTTP, l’autre SOCKS5. Leurs règles d’accès et leur disponibilité peuvent aussi différer. Ces numéros de port donnés en exemple ne garantissent rien sur le service réel.

Tester le point de connexion complet

Si le port 8080 ne répond pas avant expiration du délai, une requête réussie sur le port 1080 ne prouve pas que la première ligne fonctionne. Notez le protocole, l’adresse et le port pour chaque test. Un compte rendu disant seulement « cette IP est morte » perd des informations pouvant expliquer le résultat.

L’inverse est également vrai : deux ports peuvent finalement utiliser la même adresse de sortie, sans devenir le même point de connexion. Ils peuvent partager une infrastructure ou des limites. Conserver les deux lignes ne prouve donc pas que vous disposez de deux opérateurs indépendants ou de deux sorties différentes.

Qu’est-ce qu’un doublon ?

Pour une liste simple utilisant un seul protocole connu, dédoublonnez selon l’adresse IP normalisée et le port numérique. Un exemple de nettoyage Python limité à IPv4 applique cette règle à des lignes IP:port simples. Si le fichier mélange plusieurs protocoles, conservez aussi cette information. Lors d’un import depuis une liste de proxies gratuits, gardez le protocole avec chaque adresse et chaque port.

Deux libellés pour exactement le même couple IP:port nécessitent un examen approfondi. Une entrée HTTP et une entrée HTTPS peuvent désigner un seul proxy HTTP prenant aussi en charge CONNECT. Un service peut également accepter plusieurs types de négociation. Ne fusionnez les entrées qu’après avoir compris ces libellés ; ne supprimez pas des capacités lors du nettoyage du texte.

Le format peut créer de fausses différences

Les ports écrits 08080 et 8080 ont la même valeur numérique si tous deux sont des ports décimaux. Les adresses IPv6 peuvent aussi avoir plusieurs écritures équivalentes. Normalisez l’adresse et le port avant de les comparer, en conservant la source originale pour le dépannage.

Le dédoublonnage améliore le format de la liste. Il ne vérifie ni qu’un point de connexion est en ligne, ni que deux points disposent de sorties distinctes, ni qu’une indication de pays est correcte.

Articles similaires