Kaksi riviä, joilla on sama IP-osoite mutta eri portit, ovat eri päätepisteitä. Rivin poistaminen vain toistuvan IP:n vuoksi voi poistaa toimivan välityspalvelimen tai toisen välityspalvelinprotokollan.

Esimerkiksi 203.0.113.10:8080 ja 203.0.113.10:1080 yhdistävät eri portteihin. Toinen voi käyttää HTTP:tä ja toinen SOCKS5:tä. Myös pääsysäännöt ja saatavuus voivat erota. Nämä esimerkkiportit eivät kerro varmasti, mikä palvelu on käytössä.

Testaa koko päätepiste

Jos portti 8080 aikakatkaistaan, onnistunut pyyntö porttiin 1080 ei todista ensimmäisen rivin toimivan. Kirjaa jokaisessa testissä protokolla, osoite ja portti. Pelkkä ”tämä IP on kuollut” jättää pois tietoja, jotka voisivat selittää tuloksen.

Myös päinvastainen pätee: kaksi porttia voi lopulta käyttää samaa ulospäin näkyvää osoitetta. Se ei tee niistä samaa yhteyden päätepistettä. Ne voivat jakaa infrastruktuuria tai rajoituksia. Molempien rivien säilyttäminen ei siis todista, että käytössä on kaksi riippumatonta ylläpitäjää tai kaksi eri ulostuloa.

Mikä lasketaan kaksoiskappaleeksi?

Kun yksinkertainen lista käyttää yhtä tunnettua protokollaa, poista kaksoiskappaleet normalisoidun IP-osoitteen ja numeerisen portin perusteella. Vain IPv4:ää käsittelevä Python-siivousesimerkki soveltaa sääntöä tavallisiin IP:port-riveihin. Jos tiedosto sisältää useita protokollia, säilytä myös protokollatieto. Kun tuot tietoja ilmaisten välityspalvelinten listalta, pidä protokolla kunkin osoitteen ja portin yhteydessä.

Täsmälleen saman IP:port-parin kaksi nimikettä vaativat tarkempaa tutkimista. HTTP- ja HTTPS-merkinnät voivat tarkoittaa yhtä HTTP-välityspalvelinta, joka tukee myös CONNECTia. Palvelu voi myös hyväksyä useita kättelytyyppejä. Yhdistä tietueita vasta ymmärrettyäsi nimikkeet; älä hävitä ominaisuustietoja tekstin siivouksessa.

Muotoilu voi luoda näennäisiä eroja

08080 ja 8080 tarkoittavat samaa lukuarvoa, jos molemmat ovat desimaalisia portteja. Myös IPv6-osoitteilla voi olla useita vastaavia tekstimuotoja. Normalisoi osoite ja portti ennen vertailua ja säilytä alkuperäinen lähde vianetsintää varten.

Kaksoiskappaleiden poisto parantaa listan muotoa. Se ei tarkista päätepisteen toimivuutta, kahden päätepisteen erillisiä ulostuloja eikä maatunnisteen oikeellisuutta.

Aiheeseen liittyvät artikkelit