Ista IP adresa proxyja, različiti portovi: duplikati?
IP adresa i port zajedno određuju krajnju točku. Zadržite tu razliku pri uvozu, testiranju i uklanjanju duplikata iz popisa proxyja.
Dva retka s istom IP adresom i različitim portovima predstavljaju različite krajnje točke. Izbrišete li jedan samo zbog ponovljene IP adrese, možete ukloniti ispravan proxy ili drugi proxy protokol.
Primjerice, 203.0.113.10:8080 i 203.0.113.10:1080 povezuju se s različitim portovima. Jedan može koristiti HTTP, a drugi SOCKS5. Pravila pristupa i dostupnost također se mogu razlikovati. Ovi primjeri brojeva portova ništa ne jamče o stvarnoj usluzi.
Testirajte cijelu krajnju točku
Ako port 8080 prekorači vrijeme čekanja, uspješan zahtjev na port 1080 ne dokazuje da prvi redak radi. Za svaki test zabilježite protokol, adresu i port. Izvještaj koji kaže samo „ova IP adresa ne radi” gubi informacije koje mogu objasniti rezultat.
Vrijedi i obratno: dva porta na kraju mogu koristiti istu izlaznu adresu. To ih ne čini istom krajnjom točkom veze. Mogu dijeliti infrastrukturu ili ograničenja, pa zadržavanje obaju redaka ne dokazuje dva neovisna operatora ili dva različita izlaza.
Što treba smatrati duplikatom?
U jednostavnom popisu s jednim poznatim protokolom uklanjajte duplikate prema normaliziranoj IP adresi i numeričkom portu. Primjer čišćenja u Pythonu samo za IPv4 primjenjuje to pravilo na obične IP:port retke. Ako datoteka miješa protokole, sačuvajte i te podatke. Pri uvozu s popisa besplatnih proxyja čuvajte protokol uz svaku adresu i port.
Dvije oznake za potpuno isti IP:port zahtijevaju pomniju provjeru. Unos HTTP i unos HTTPS mogu opisivati jedan HTTP proxy koji podržava i CONNECT. Usluga može prihvaćati i više vrsta rukovanja. Spajajte zapise tek kada razumijete oznake; pri čišćenju teksta nemojte odbaciti podatke o mogućnostima.
Oblikovanje može stvoriti prividne razlike
08080 i 8080 predstavljaju istu brojčanu vrijednost ako oba označavaju decimalne portove. IPv6 adrese također mogu imati više jednakovrijednih tekstualnih oblika. Normalizirajte adresu i port prije usporedbe, a izvor sačuvajte radi otklanjanja poteškoća.
Uklanjanje duplikata poboljšava format popisa. Ne provjerava je li krajnja točka dostupna, imaju li dvije točke zasebne izlaze niti je li oznaka države točna.