Адзін IP проксі, розныя парты: гэта дублікаты?
IP-адрас і порт разам вызначаюць канцавы пункт. Улічвайце гэта пры імпарце, праверцы і выдаленні дублікатаў са спіса проксі.
Два радкі з аднолькавым IP-адрасам і рознымі партамі — розныя канцавыя пункты. Выдаліўшы адзін толькі праз паўтор IP, можна страціць працоўны проксі або іншы пратакол проксі.
Напрыклад, 203.0.113.10:8080 і 203.0.113.10:1080 падключаюцца да розных партоў. На адным можа працаваць HTTP, на другім — SOCKS5. Правілы доступу і даступнасць таксама могуць адрознівацца. Гэтыя прыклады нумароў партоў нічога не гарантуюць пра фактычную службу.
Правярайце ўвесь канцавы пункт
Калі порт 8080 не адказаў своечасова, паспяховы запыт да порта 1080 не даказвае, што першы радок працуе. Для кожнай праверкі запісвайце пратакол, адрас і порт. Справаздача толькі са словамі «гэты IP мёртвы» губляе звесткі, якія могуць растлумачыць вынік.
Справядлівае і адваротнае: два парты ўрэшце могуць выкарыстоўваць адзін выходны адрас. Гэта не робіць іх адным канцавым пунктам злучэння. Яны могуць дзяліць інфраструктуру або абмежаванні, таму захаванне абодвух радкоў не даказвае наяўнасці двух незалежных аператараў ці двух розных выхадаў.
Што лічыць дублікатам?
У простым спісе з адным вядомым пратаколам выдаляйце дублікаты паводле нармалізаванага IP-адраса і лікавага порта. Прыклад ачысткі на Python толькі для IPv4 ужывае гэтае правіла да звычайных радкоў IP:port. Калі файл змяшчае розныя пратаколы, захоўвайце і гэтыя звесткі. Пры імпарце са спіса бясплатных проксі захоўвайце пратакол разам з кожным адрасам і портам.
Дзве пазнакі для цалкам аднолькавага IP:port патрабуюць больш уважлівага вывучэння. Запісы HTTP і HTTPS могуць апісваць адзін HTTP-проксі, які таксама падтрымлівае CONNECT. Або служба можа прымаць некалькі тыпаў поціску рукі. Аб’ядноўвайце запісы толькі пасля высвятлення сэнсу пазнак; не выкідайце звесткі пра магчымасці падчас ачысткі тэксту.
Фарматаванне можа ствараць уяўныя адрозненні
08080 і 8080 маюць аднолькавае лікавае значэнне, калі абодва абазначаюць дзесятковыя парты. Адрасы IPv6 таксама могуць мець некалькі раўназначных тэкставых формаў. Перад параўнаннем нармалізуйце адрас і порт, захоўваючы зыходную крыніцу для дыягностыкі.
Выдаленне дублікатаў паляпшае фармат спіса. Яно не правярае, ці даступны канцавы пункт, ці маюць два пункты асобныя выхады і ці правільна пазначана краіна.