Isti IP proxyja, različiti portovi: jesu li duplikati?
IP adresa i port zajedno određuju krajnju tačku. Zadržite tu razliku pri uvozu, testiranju i uklanjanju duplikata iz liste proxyja.
Dva reda s istom IP adresom i različitim portovima predstavljaju različite krajnje tačke. Brisanjem jednog samo zato što se IP ponavlja možete ukloniti ispravan proxy ili drugi proxy protokol.
Naprimjer, 203.0.113.10:8080 i 203.0.113.10:1080 povezuju se na različite portove. Jedan može koristiti HTTP, a drugi SOCKS5. Mogu se razlikovati i pravila pristupa ili dostupnost. Ovi primjeri brojeva portova ne govore ništa sigurno o stvarnoj usluzi.
Testirajte cijelu krajnju tačku
Ako port 8080 prekorači vrijeme čekanja, uspješan zahtjev prema portu 1080 ne dokazuje da prvi red radi. Za svaki test zabilježite protokol, adresu i port. Izvještaj koji kaže samo „ovaj IP je mrtav“ gubi informacije koje mogu objasniti rezultat.
Vrijedi i obrnuto: dva porta na kraju mogu koristiti istu izlaznu adresu. To ih ne čini istom krajnjom tačkom veze. Mogu dijeliti infrastrukturu ili ograničenja, pa čuvanje oba reda ne dokazuje dva nezavisna operatera ili dva različita izlaza.
Šta treba smatrati duplikatom?
U jednostavnoj listi s jednim poznatim protokolom uklanjajte duplikate prema normaliziranoj IP adresi i numeričkom portu. Primjer čišćenja u Pythonu samo za IPv4 primjenjuje to pravilo na obične IP:port redove. Ako datoteka miješa protokole, sačuvajte i te informacije. Pri uvozu iz liste besplatnih proxyja čuvajte protokol uz svaku adresu i port.
Dvije oznake za potpuno isti IP:port zahtijevaju pažljiviju provjeru. Unos HTTP i unos HTTPS mogu opisivati jedan HTTP proxy koji podržava i CONNECT. Usluga može prihvatati i više vrsta rukovanja. Spajajte zapise samo kada razumijete oznake; nemojte pri čišćenju teksta odbaciti informacije o mogućnostima.
Formatiranje može stvoriti prividne razlike
08080 i 8080 predstavljaju istu numeričku vrijednost ako oba označavaju decimalne portove. IPv6 adrese također mogu imati više jednakovrijednih tekstualnih oblika. Normalizirajte adresu i port prije poređenja, a izvor sačuvajte za otklanjanje problema.
Uklanjanje duplikata poboljšava format liste. Ne provjerava je li krajnja tačka dostupna, imaju li dvije tačke odvojene izlaze niti je li oznaka države tačna.