Иста IP-адреса на прокси, различни порти: дупликати?
IP-адресата и портата заедно одредуваат крајна точка. Зачувајте ја таа разлика при увоз, тестирање и отстранување дупликати од листа со прокси-сервери.
Два реда со иста IP-адреса и различни порти се различни крајни точки. Бришењето на едниот само поради повторената IP-адреса може да отстрани исправен прокси-сервер или друг прокси-протокол.
На пример, 203.0.113.10:8080 и 203.0.113.10:1080 се поврзуваат со различни порти. Едната може да користи HTTP, а другата SOCKS5. Правилата за пристап и достапноста исто така може да се разликуваат. Овие примерни броеви на порти не кажуваат ништо сигурно за вистинската услуга.
Тестирајте ја целата крајна точка
Ако портата 8080 не одговори навреме, успешно барање до портата 1080 не докажува дека првиот ред работи. Запишете ги протоколот, адресата и портата за секој тест. Извештај само со „оваа IP-адреса е мртва“ губи информации што може да го објаснат резултатот.
Важи и обратното: две порти може на крај да користат иста излезна адреса. Тоа не ги прави иста крајна точка за поврзување. Може да делат инфраструктура или ограничувања, па зачувувањето на двата реда не докажува два независни оператори или два различни излези.
Што треба да се смета за дупликат?
Во едноставна листа со еден познат протокол отстранувајте дупликати според нормализираната IP-адреса и бројната вредност на портата. Пример за чистење со Python само за IPv4 го применува ова правило на обични IP:port редови. Ако датотеката меша протоколи, зачувајте ја и таа информација. При увоз од список со бесплатни проксија зачувајте го протоколот со секоја адреса и порта.
Две ознаки за сосема исто IP:port бараат поблиско испитување. Запис HTTP и запис HTTPS може да опишуваат еден HTTP прокси-сервер што поддржува и CONNECT. Услугата може да прифаќа и повеќе видови ракување. Спојувајте записи само кога ги разбирате ознаките; не отфрлајте можности при чистење на текстот.
Форматирањето може да создаде лажни разлики
08080 и 8080 означуваат иста бројна вредност ако двете се децимални порти. IPv6-адресите исто така може да имаат повеќе еквивалентни текстуални форми. Нормализирајте ги адресата и портата пред споредба и зачувајте го првичниот извор за дијагностика.
Отстранувањето дупликати го подобрува форматот на листата. Тоа не проверува дали крајната точка е онлајн, дали две точки имаат одделни излези или дали ознаката за држава е точна.