Rovnaká IP proxy, rôzne porty: sú to duplicity?
IP adresa a port spoločne určujú koncový bod. Zachovajte tento rozdiel pri importe, testovaní a odstraňovaní duplicít zo zoznamu proxy.
Dva riadky s rovnakou IP adresou a rôznymi portmi sú rôzne koncové body. Odstránením jedného len pre opakujúcu sa IP môžete zmazať funkčný proxy server alebo iný protokol proxy.
Napríklad 203.0.113.10:8080 a 203.0.113.10:1080 sa pripájajú k rôznym portom. Jeden môže používať HTTP a druhý SOCKS5. Odlišné môžu byť aj pravidlá prístupu a dostupnosť. Tieto príklady čísel portov nič nezaručujú o skutočnej službe.
Testujte celý koncový bod
Ak port 8080 prekročí časový limit, úspešná požiadavka na port 1080 nedokazuje, že prvý riadok funguje. Pri každom teste zaznamenajte protokol, adresu a port. Správa obsahujúca len „táto IP je mŕtva“ stráca informácie, ktoré môžu vysvetliť výsledok.
Platí aj opak: dva porty môžu napokon používať rovnakú odchádzajúcu adresu. Nestanú sa tým rovnakým koncovým bodom spojenia. Môžu zdieľať infraštruktúru alebo limity, takže ponechanie oboch riadkov nedokazuje dvoch nezávislých prevádzkovateľov ani dva rôzne výstupy.
Čo považovať za duplicitu?
V jednoduchom zozname s jedným známym protokolom odstraňujte duplicity podľa normalizovanej IP adresy a číselnej hodnoty portu. Príklad čistenia v Pythone iba pre IPv4 používa toto pravidlo na bežné riadky IP:port. Ak súbor mieša protokoly, zachovajte aj túto informáciu. Pri importe zo zoznamu bezplatných proxy serverov uchovávajte protokol spolu s každou adresou a portom.
Dve označenia pri presne rovnakom IP:port vyžadujú bližšie preskúmanie. Záznam HTTP a záznam HTTPS môžu opisovať jeden HTTP proxy server, ktorý podporuje aj CONNECT. Služba môže tiež prijímať viac typov nadviazania spojenia. Záznamy zlučujte až po pochopení označení; pri čistení textu nezahadzujte informácie o schopnostiach.
Formátovanie môže vytvárať zdanlivé rozdiely
08080 a 8080 označujú rovnakú číselnú hodnotu, ak oba predstavujú desiatkové porty. Aj IPv6 adresy môžu mať viac rovnocenných textových podôb. Pred porovnaním normalizujte adresu a port a uchovajte pôvodný zdroj na riešenie problémov.
Odstránenie duplicít zlepšuje formát zoznamu. Neoveruje dostupnosť koncového bodu, samostatné výstupy dvoch bodov ani správnosť označenia krajiny.