Isti IP proxyja, različiti portovi: jesu li duplikati?
IP adresa i port zajedno određuju krajnju tačku. Sačuvajte tu razliku pri uvozu, testiranju i uklanjanju duplikata iz liste proxyja.
Dva reda sa istom IP adresom i različitim portovima jesu različite krajnje tačke. Brisanjem jednog samo zato što se IP ponavlja možete ukloniti ispravan proxy ili drugi proxy protokol.
Na primjer, 203.0.113.10:8080 i 203.0.113.10:1080 povezuju se na različite portove. Jedan može koristiti HTTP, a drugi SOCKS5. Pravila pristupa i dostupnost takođe mogu biti različiti. Ovi primjeri brojeva portova ne daju sigurnu informaciju o stvarnoj usluzi.
Testirajte cijelu krajnju tačku
Ako port 8080 prekorači vrijeme čekanja, uspješan zahtjev prema portu 1080 ne dokazuje da prvi red radi. Za svaki test zabilježite protokol, adresu i port. Izvještaj koji kaže samo „ovaj IP je mrtav“ gubi informacije koje mogu objasniti rezultat.
Važi i obrnuto: dva porta na kraju mogu koristiti istu izlaznu adresu. Time ne postaju ista krajnja tačka veze. Mogu dijeliti infrastrukturu ili ograničenja, pa zadržavanje oba reda ne dokazuje dva nezavisna operatera ili dva različita izlaza.
Šta treba smatrati duplikatom?
U jednostavnoj listi sa jednim poznatim protokolom uklanjajte duplikate prema normalizovanoj IP adresi i numeričkom portu. Primjer čišćenja u Pythonu samo za IPv4 primjenjuje to pravilo na obične IP:port redove. Ako datoteka miješa protokole, sačuvajte i te informacije. Pri uvozu iz liste besplatnih proxyja čuvajte protokol uz svaku adresu i port.
Dvije oznake za potpuno isti IP:port zahtijevaju detaljniju provjeru. Unos HTTP i unos HTTPS mogu opisivati jedan HTTP proxy koji podržava i CONNECT. Usluga može prihvatati i više vrsta rukovanja. Spajajte zapise tek kada razumijete oznake; pri čišćenju teksta nemojte odbaciti informacije o mogućnostima.
Formatiranje može stvoriti prividne razlike
08080 i 8080 predstavljaju istu numeričku vrijednost ako oba označavaju decimalne portove. IPv6 adrese takođe mogu imati više ekvivalentnih tekstualnih oblika. Normalizujte adresu i port prije poređenja, a originalni izvor sačuvajte za otklanjanje problema.
Uklanjanje duplikata poboljšava format liste. Ne provjerava da li je krajnja tačka dostupna, da li dvije tačke imaju odvojene izlaze niti da li je oznaka države tačna.