Един IP на прокси, различни портове: дубликати ли са?
IP адресът и портът заедно определят крайна точка. Запазвайте тази разлика при импортиране, тестване и премахване на дубликати от списък с проксита.
Два реда с еднакъв IP адрес и различни портове са различни крайни точки. Ако премахнете единия само защото IP адресът се повтаря, може да изтриете работещо прокси или друг прокси протокол.
Например 203.0.113.10:8080 и 203.0.113.10:1080 се свързват към различни портове. Единият може да използва HTTP, а другият SOCKS5. Правилата за достъп и наличността също може да се различават. Тези примерни номера на портове не дават сигурна информация за реалната услуга.
Тествайте цялата крайна точка
Ако порт 8080 не отговори навреме, успешна заявка към порт 1080 не доказва, че първият ред работи. Записвайте протокола, адреса и порта за всеки тест. Доклад само с „този IP е мъртъв“ губи информация, която може да обясни резултата.
Важи и обратното: два порта може накрая да използват един изходящ адрес. Това не ги прави една и съща крайна точка за свързване. Те може да споделят инфраструктура или ограничения, затова запазването на двата реда не доказва два независими оператора или два различни изхода.
Какво трябва да се смята за дубликат?
За обикновен списък с един известен протокол премахвайте дубликатите по нормализиран IP адрес и числова стойност на порта. Пример за почистване с Python само за IPv4 прилага това правило към обикновени редове IP:port. Ако файлът смесва протоколи, пазете и тази информация. При импортиране от списък с безплатни проксита пазете протокола заедно с всеки адрес и порт.
Два етикета за точно едно и също IP:port изискват по-внимателна проверка. Запис HTTP и запис HTTPS може да описват едно HTTP прокси, което поддържа и CONNECT. Услуга може също да приема повече от един тип ръкостискане. Обединявайте записи само след като разберете етикетите; не изхвърляйте възможности при почистването на текста.
Форматирането може да създаде привидни разлики
08080 и 8080 означават еднаква числова стойност, ако и двете са десетични портове. IPv6 адресите също може да имат няколко равностойни текстови форми. Нормализирайте адреса и порта преди сравнение и пазете първоначалния източник за диагностика.
Премахването на дубликати подобрява формата на списъка. То не проверява дали крайната точка е онлайн, дали две точки имат отделни изходи или дали етикетът за държава е верен.