Одна IP-адреса проксі, різні порти: це дублікати?
IP-адреса та порт разом визначають кінцеву точку. Зважайте на це під час імпорту, перевірки та видалення дублікатів у списку проксі.
Два рядки з однаковою IP-адресою й різними портами — різні кінцеві точки. Видаливши один лише через повторення IP, можна втратити робочий проксі або інший протокол проксі.
Наприклад, 203.0.113.10:8080 і 203.0.113.10:1080 з’єднуються з різними портами. На одному може працювати HTTP, на іншому — SOCKS5. Правила доступу та доступність також можуть відрізнятися. Ці приклади номерів портів нічого не гарантують щодо фактичної служби.
Перевіряйте кінцеву точку повністю
Якщо порт 8080 не відповів вчасно, успішний запит до порту 1080 не доводить, що перший рядок працює. Для кожної перевірки записуйте протокол, адресу й порт. Звіт лише зі словами «ця IP-адреса мертва» втрачає відомості, які можуть пояснити результат.
Правильне й зворотне: два порти зрештою можуть використовувати одну вихідну адресу. Це не робить їх однією кінцевою точкою з’єднання. Вони можуть мати спільну інфраструктуру або обмеження, тож збереження обох рядків не доводить наявності двох незалежних операторів чи двох різних виходів.
Що вважати дублікатом?
У простому списку з одним відомим протоколом видаляйте дублікати за нормалізованою IP-адресою та числовим портом. Приклад очищення на Python лише для IPv4 застосовує це правило до звичайних рядків IP:port. Якщо файл містить різні протоколи, зберігайте й ці відомості. Імпортуючи зі списку безкоштовних проксі, зберігайте протокол разом із кожною адресою та портом.
Дві позначки для цілком однакового IP:port потребують докладнішого вивчення. Записи HTTP і HTTPS можуть описувати один HTTP-проксі, який також підтримує CONNECT. Або служба може приймати кілька видів рукостискання. Об’єднуйте записи лише після з’ясування значення позначок; не втрачайте відомостей про можливості під час очищення тексту.
Форматування може створювати хибні відмінності
08080 і 8080 мають однакове числове значення, якщо обидва позначають десяткові порти. Адреси IPv6 також можуть мати кілька рівнозначних текстових форм. Перед порівнянням нормалізуйте адресу й порт, зберігаючи початкове джерело для діагностики.
Видалення дублікатів поліпшує формат списку. Воно не перевіряє доступність кінцевої точки, наявність окремих виходів у двох точок чи правильність позначки країни.