Stejná IP proxy, různé porty: jsou to duplicity?
IP adresa a port společně určují koncový bod. Zachovejte tento rozdíl při importu, testování i odstraňování duplicit ze seznamu proxy.
Dva řádky se stejnou IP adresou a různými porty představují různé koncové body. Odstraněním jednoho jen kvůli opakování IP můžete smazat funkční proxy nebo jiný protokol proxy.
Například 203.0.113.10:8080 a 203.0.113.10:1080 se připojují k různým portům. Jeden může používat HTTP a druhý SOCKS5. Lišit se mohou také přístupová pravidla a dostupnost. Tato ukázková čísla portů nic nezaručují o skutečné službě.
Testujte celý koncový bod
Pokud port 8080 překročí časový limit, úspěšný požadavek na port 1080 nedokazuje funkčnost prvního řádku. U každého testu zaznamenejte protokol, adresu a port. Zpráva uvádějící jen „tato IP je mrtvá“ ztrácí informace, které mohou výsledek vysvětlit.
Platí to i obráceně: dva porty mohou nakonec používat stejnou odchozí adresu. Tím se z nich nestává stejný koncový bod připojení. Mohou sdílet infrastrukturu nebo limity, takže ponechání obou řádků nedokazuje dva nezávislé provozovatele ani dva různé výstupy.
Co se má počítat jako duplicita?
V jednoduchém seznamu s jedním známým protokolem odstraňujte duplicity podle normalizované IP adresy a číselné hodnoty portu. Ukázka čištění v Pythonu pouze pro IPv4 používá toto pravidlo na běžné řádky IP:port. Pokud soubor mísí protokoly, zachovejte i tuto informaci. Při importu ze seznamu bezplatných proxy ukládejte protokol spolu s každou adresou a portem.
Dva štítky u přesně stejného IP:port vyžadují podrobnější prozkoumání. Záznam HTTP a záznam HTTPS mohou popisovat jednu HTTP proxy, která podporuje i CONNECT. Služba také může přijímat více typů navázání spojení. Záznamy slučujte až po pochopení štítků; při čištění textu nezahazujte informace o schopnostech.
Formátování může vytvářet zdánlivé rozdíly
08080 a 8080 označují stejnou číselnou hodnotu, pokud oba znamenají porty v desítkové soustavě. Také adresy IPv6 mohou mít více rovnocenných textových podob. Před porovnáním normalizujte adresu a port a uchovejte původní zdroj pro řešení problémů.
Odstranění duplicit zlepšuje formát seznamu. Neověřuje dostupnost koncového bodu, samostatné výstupy dvou bodů ani správnost označení země.