IP proxy sama, port berbeda: apakah duplikat?
Alamat IP dan port bersama-sama mengidentifikasi sebuah endpoint. Pertahankan perbedaan ini saat mengimpor, menguji, atau menghapus duplikat daftar proxy.
Dua baris dengan alamat IP yang sama dan port berbeda adalah endpoint yang berbeda. Menghapus satu baris hanya karena IP berulang bisa menghilangkan proxy yang berfungsi atau protokol proxy lain.
Misalnya, 203.0.113.10:8080 dan 203.0.113.10:1080 terhubung ke port berbeda. Satu mungkin menjalankan HTTP dan yang lain SOCKS5. Aturan akses atau ketersediaannya juga bisa berbeda. Nomor port contoh ini tidak memastikan layanan yang sebenarnya.
Uji endpoint secara lengkap
Jika port 8080 mengalami timeout, permintaan yang berhasil ke port 1080 tidak membuktikan bahwa baris pertama berfungsi. Catat protokol, alamat, dan port pada setiap pengujian. Laporan yang hanya mengatakan “IP ini mati” kehilangan informasi yang dapat menjelaskan hasilnya.
Sebaliknya pun berlaku: dua port mungkin pada akhirnya memakai alamat keluar yang sama. Itu tidak menjadikannya endpoint koneksi yang sama. Keduanya bisa berbagi infrastruktur atau batasan, sehingga menyimpan kedua baris tidak membuktikan adanya dua operator independen atau dua jalur keluar berbeda.
Apa yang seharusnya dianggap duplikat?
Untuk daftar sederhana dengan satu protokol yang diketahui, hapus duplikat berdasarkan alamat IP yang dinormalisasi dan port numerik. Contoh pembersihan Python khusus IPv4 menerapkan aturan ini pada baris IP:port biasa. Jika berkas mencampur protokol, simpan juga informasi protokolnya. Saat mengimpor dari daftar proxy gratis, pertahankan protokol bersama setiap alamat dan port.
Dua label pada IP:port yang persis sama perlu diperiksa lebih dekat. Entri HTTP dan HTTPS mungkin menjelaskan satu proxy HTTP yang juga mendukung CONNECT. Atau sebuah layanan mungkin menerima beberapa jenis handshake. Gabungkan rekaman hanya setelah memahami arti labelnya; jangan membuang informasi kemampuan saat membersihkan teks.
Format dapat menimbulkan perbedaan semu
08080 dan 8080 merujuk pada nilai numerik yang sama jika keduanya dimaksudkan sebagai port desimal. Alamat IPv6 juga bisa memiliki beberapa bentuk teks yang setara. Normalisasi alamat dan port sebelum membandingkan, sambil menyimpan sumber asli untuk pemecahan masalah.
Penghapusan duplikat memperbaiki format daftar. Proses ini tidak memeriksa apakah endpoint online, apakah dua endpoint memiliki jalur keluar terpisah, atau apakah label negaranya benar.