Samme IP for proxyen, forskjellige porter: duplikater?
En IP-adresse og en port identifiserer sammen et endepunkt. Ta vare på skillet ved import, testing og fjerning av duplikater i en proxyliste.
To rader som har samme IP-adresse, men forskjellige porter, viser til ulike endepunkter. Sletter du en rad bare fordi IP-adressen gjentas, kan du fjerne en fungerende proxy eller en annen proxyprotokoll.
203.0.113.10:8080 og 203.0.113.10:1080 kobler for eksempel til forskjellige porter. Én kan bruke HTTP og den andre SOCKS5. De kan også ha ulike tilgangsregler og ulik tilgjengelighet. Portnumrene i eksemplet sier ikke med sikkerhet hvilken tjeneste som faktisk kjører.
Test det komplette endepunktet
Dersom port 8080 får tidsavbrudd, betyr ikke en vellykket forespørsel til port 1080 at den første raden virker. Noter protokoll, adresse og port i hver test. En rapport som kun sier «denne IP-adressen er død», utelater informasjon som kan forklare utfallet.
Dette gjelder også andre veien: to porter kan til slutt benytte samme utgående adresse. Likevel er de forskjellige tilkoblingsendepunkter. De kan dele infrastruktur eller grenser, så det å beholde begge radene dokumenterer ikke to uavhengige operatører eller to forskjellige utganger.
Hva teller som et duplikat?
For en enkel liste som bruker én kjent protokoll, fjernes duplikater etter normalisert IP-adresse og numerisk port. Et oppryddingseksempel i Python for bare IPv4 bruker denne regelen på enkle IP:port-linjer. Inneholder filen flere protokoller, behold også denne informasjonen. Ved import fra listen over gratis proxyer må protokollen følge hver adresse og port.
To betegnelser på helt identisk IP:port må undersøkes nærmere. En oppføring merket HTTP og en merket HTTPS kan vise til samme HTTP-proxy med støtte også for CONNECT. Tjenesten kan dessuten akseptere flere håndtrykkstyper. Slå sammen poster først når du vet hva betegnelsene betyr; tekstopprydding skal ikke fjerne informasjon om funksjoner.
Formatet kan gi inntrykk av forskjeller
Portene 08080 og 8080 har lik tallverdi hvis begge er desimale porter. IPv6-adresser kan også skrives på flere likeverdige måter. Normaliser adressen og porten før de sammenlignes, men behold den opprinnelige kilden for feilsøking.
Å fjerne duplikater forbedrer listens format. Det sjekker verken om endepunktet er tilgjengelig, om to endepunkter har hver sin utgang, eller om landetiketten stemmer.