IP พร็อกซีเดียวกัน แต่คนละพอร์ต: ถือว่าซ้ำหรือไม่?

สองแถวที่มีที่อยู่ IP เดียวกันแต่ต่างพอร์ตคือคนละปลายทาง การลบแถวหนึ่งเพียงเพราะ IP ซ้ำอาจลบพร็อกซีที่ใช้งานได้หรือโพรโทคอลพร็อกซีอีกแบบหนึ่งไปด้วย

ตัวอย่างเช่น 203.0.113.10:8080 และ 203.0.113.10:1080 เชื่อมต่อกับคนละพอร์ต พอร์ตหนึ่งอาจใช้ HTTP และอีกพอร์ตใช้ SOCKS5 กฎการเข้าถึงหรือความพร้อมใช้งานอาจต่างกันด้วย หมายเลขพอร์ตตัวอย่างเหล่านี้ไม่ได้ยืนยันว่าบริการจริงคืออะไร

ทดสอบปลายทางให้ครบทั้งชุด

หากพอร์ต 8080 หมดเวลารอ การส่งคำขอไปยังพอร์ต 1080 สำเร็จไม่ได้พิสูจน์ว่าแถวแรกใช้ได้ บันทึกโพรโทคอล ที่อยู่ และพอร์ตในการทดสอบทุกครั้ง รายงานที่ระบุเพียงว่า “IP นี้ตายแล้ว” ทำให้ข้อมูลที่อาจอธิบายผลลัพธ์สูญหาย

ในทางกลับกันก็เช่นกัน สองพอร์ตอาจใช้ที่อยู่ขาออกเดียวกันในท้ายที่สุด แต่นั่นไม่ได้ทำให้เป็นปลายทางการเชื่อมต่อเดียวกัน ทั้งสองอาจใช้โครงสร้างพื้นฐานหรือข้อจำกัดร่วมกัน ดังนั้นการเก็บทั้งสองแถวไม่ได้พิสูจน์ว่ามีผู้ให้บริการอิสระสองรายหรือทางออกต่างกันสองทาง

อะไรควรนับว่าเป็นรายการซ้ำ?

สำหรับรายการธรรมดาที่ใช้โพรโทคอลเดียวซึ่งทราบแน่ชัด ให้ลบรายการซ้ำตามที่อยู่ IP ที่ปรับรูปแบบมาตรฐานแล้วและค่าตัวเลขของพอร์ต ตัวอย่างการทำความสะอาดด้วย Python สำหรับ IPv4 เท่านั้น ใช้กฎนี้กับบรรทัด IP:port ธรรมดา หากไฟล์มีหลายโพรโทคอล ให้เก็บข้อมูลโพรโทคอลไว้ด้วย เมื่อนำเข้าจากรายการพร็อกซีฟรี ให้เก็บโพรโทคอลคู่กับที่อยู่และพอร์ตแต่ละรายการ

ป้ายกำกับสองแบบบน IP:port ที่ตรงกันทุกประการต้องตรวจสอบให้ละเอียดขึ้น รายการที่ระบุ HTTP และ HTTPS อาจหมายถึงพร็อกซี HTTP ตัวเดียวที่รองรับ CONNECT ด้วย หรือบริการหนึ่งอาจรับการจับมือได้มากกว่าหนึ่งแบบ รวมระเบียนเมื่อเข้าใจความหมายของป้ายแล้วเท่านั้น อย่าทิ้งข้อมูลความสามารถระหว่างทำความสะอาดข้อความ

รูปแบบการเขียนอาจสร้างความต่างที่ไม่มีจริง

08080 และ 8080 มีค่าตัวเลขเดียวกันหากทั้งคู่หมายถึงพอร์ตฐานสิบ ที่อยู่ IPv6 ก็อาจมีรูปแบบข้อความที่เทียบเท่ากันได้หลายแบบ ปรับที่อยู่และพอร์ตให้เป็นมาตรฐานก่อนเปรียบเทียบ พร้อมเก็บแหล่งข้อมูลเดิมไว้แก้ปัญหา

การลบรายการซ้ำช่วยปรับรูปแบบรายการ แต่ไม่ได้ตรวจว่าปลายทางออนไลน์หรือไม่ สองปลายทางมีทางออกแยกกันหรือไม่ หรือป้ายประเทศถูกต้องหรือไม่