Azonos proxy-IP, eltérő portok: ismétlődésnek számítanak?
Az IP-cím és a port együtt azonosít egy végpontot. Ezt a különbséget importáláskor, teszteléskor és a proxylista ismétlődéseinek eltávolításakor is őrizze meg.
Két azonos IP-című, de eltérő portú sor különböző végpontot jelent. Ha csak az ismétlődő IP miatt törli az egyiket, működő proxyt vagy másik proxyprotokollt távolíthat el.
A 203.0.113.10:8080 és a 203.0.113.10:1080 például eltérő porthoz csatlakozik. Az egyiken HTTP, a másikon SOCKS5 működhet. A hozzáférési szabályok és az elérhetőség is eltérhetnek. Ezek a példaként megadott portszámok nem árulnak el biztosat a tényleges szolgáltatásról.
A teljes végpontot tesztelje
Ha a 8080-as porton időtúllépés történik, a 1080-as portra küldött sikeres kérés nem bizonyítja az első sor működését. Minden tesztnél rögzítse a protokollt, címet és portot. A csupán „ez az IP halott” megállapítást tartalmazó jelentésből elvesznek az eredményt magyarázó adatok.
Fordítva is igaz: két port végül ugyanazt a kimenő címet használhatja. Ettől még nem válnak azonos kapcsolódási végponttá. Közös infrastruktúrát vagy korlátokat használhatnak, ezért mindkét sor megtartása nem bizonyít két független üzemeltetőt vagy két különböző kijáratot.
Mi számít ismétlődésnek?
Egyetlen ismert protokollt használó egyszerű listán a normalizált IP-cím és a numerikus port alapján szűrje az ismétlődéseket. Egy csak IPv4-et kezelő Python-tisztítási példa ezt alkalmazza az egyszerű IP:port sorokra. Ha a fájl több protokollt tartalmaz, ezt az információt is őrizze meg. Az ingyenes proxyk listájáról importálva minden cím és port mellé mentse el a protokollt.
A pontosan azonos IP:port két címkéje alaposabb vizsgálatot igényel. Egy HTTP- és egy HTTPS-bejegyzés leírhat egyetlen HTTP-proxyt, amely a CONNECT-et is támogatja. Egy szolgáltatás több kézfogástípust is elfogadhat. Csak a címkék jelentésének megértése után vonjon össze rekordokat; szövegtisztításkor ne dobjon el képességekre vonatkozó adatokat.
A formázás látszólagos eltéréseket okozhat
A 08080 és a 8080 azonos számértéket jelöl, ha mindkettő tízes számrendszerű portot jelent. Az IPv6-címeknek is több egyenértékű szöveges alakjuk lehet. Összehasonlítás előtt normalizálja a címet és a portot, a hibakereséshez pedig őrizze meg az eredeti forrást.
Az ismétlődések eltávolítása a lista formátumát javítja. Nem ellenőrzi a végpont elérhetőségét, két végpont külön kijáratait vagy az országcímke helyességét.