Исти IP проксија, различити портови: јесу ли дупликати?
IP адреса и порт заједно одређују крајњу тачку. Сачувајте ту разлику при увозу, тестирању и уклањању дупликата из листе проксија.
Два реда са истом IP адресом и различитим портовима јесу различите крајње тачке. Брисањем једног само зато што се IP понавља можете уклонити исправан прокси или други прокси протокол.
На пример, 203.0.113.10:8080 и 203.0.113.10:1080 повезују се на различите портове. Један може користити HTTP, а други SOCKS5. Правила приступа и доступност такође могу бити различити. Ови примери бројева портова не дају сигурну информацију о стварној услузи.
Тестирајте целу крајњу тачку
Ако порт 8080 прекорачи време чекања, успешан захтев према порту 1080 не доказује да први ред ради. За сваки тест забележите протокол, адресу и порт. Извештај који каже само „овај IP је мртав“ губи информације које могу објаснити резултат.
Важи и обрнуто: два порта на крају могу користити исту излазну адресу. Тиме не постају иста крајња тачка везе. Могу делити инфраструктуру или ограничења, па задржавање оба реда не доказује два независна оператера или два различита излаза.
Шта треба сматрати дупликатом?
У једноставној листи са једним познатим протоколом уклањајте дупликате према нормализованој IP адреси и нумеричком порту. Пример чишћења у Python-у само за IPv4 примењује то правило на обичне IP:port редове. Ако датотека меша протоколе, сачувајте и те информације. При увозу из листе бесплатних проксија чувајте протокол уз сваку адресу и порт.
Две ознаке за потпуно исти IP:port захтевају детаљнију проверу. Унос HTTP и унос HTTPS могу описивати један HTTP прокси који подржава и CONNECT. Услуга може прихватати и више врста руковања. Спајајте записе тек када разумете ознаке; при чишћењу текста немојте одбацити информације о могућностима.
Форматирање може створити привидне разлике
08080 и 8080 представљају исту нумеричку вредност ако оба означавају децималне портове. IPv6 адресе такође могу имати више еквивалентних текстуалних облика. Нормализујте адресу и порт пре поређења, а изворни запис сачувајте за отклањање проблема.
Уклањање дупликата побољшава формат листе. Не проверава да ли је крајња тачка доступна, да ли две тачке имају одвојене излазе нити да ли је ознака државе тачна.