Python ने IP:पोर्ट प्रॉक्सी यादी साफ करा

IPv4 IP:port ची एक नोंद प्रत्येक ओळीत proxies.txtमध्ये ठेवा. सर्व नोंदी एकाच ज्ञात प्रॉक्सी प्रोटोकॉलच्या हव्यात. मोफत प्रॉक्सी यादीतून घेतल्यास हा मजकूर इनपुट करण्याआधी प्रोटोकॉल वेगळे करा. साफसफाई प्रवेश तपशील असलेले URL, CSV स्तंभ किंवा IPv6 पत्ते स्वीकारत नाही.

मानक लायब्ररी वापरणारी ही स्क्रिप्ट त्याच निर्देशिकेत clean-proxies.py म्हणून जतन करा:

from ipaddress import IPv4Address
from pathlib import Path

seen = set()
cleaned = []

for number, raw in enumerate(
    Path("proxies.txt").read_text(encoding="utf-8").splitlines(),
    start=1,
):
    text = raw.strip()
    if not text:
        continue
    try:
        host, port_text = text.rsplit(":", 1)
        host = str(IPv4Address(host))
        port = int(port_text)
        if not 1 <= port <= 65535:
            raise ValueError("port out of range")
    except ValueError:
        print(f"Skipping line {number}: invalid IPv4 endpoint")
        continue

    endpoint = (host, port)
    if endpoint not in seen:
        seen.add(endpoint)
        cleaned.append(f"{host}:{port}")

output = "\n".join(cleaned)
Path("proxies-clean.txt").write_text(
    output + ("\n" if output else ""),
    encoding="utf-8",
)
print(f"Saved {len(cleaned)} endpoints")

त्या निर्देशिकेतून चालवा:

uv run --no-project python clean-proxies.py

वगळलेल्या ओळींचे संदेश व proxies-clean.txt तपासा; इनपुट फाइल अखंड राहते. आउटपुट पहिल्या आढळण्याचा क्रम ठेवते व पत्ता आणि संख्यात्मक पोर्टची जोडी यावर पुनरावृत्ती काढते. 203.0.113.10:8080च्या दोन प्रती व एक 203.0.113.10:3128 मिळून दोन एंडपॉइंट होतात. दशमान पोर्ट 08080 सामान्य होऊन 8080 होतो.

दस्तऐवजी पत्ते फक्त स्वरूप दाखवतात. वैध IPv4 रचनेत खाजगी व विशेष वापराचे पत्तेही येतात, म्हणून स्वच्छ नोंद सार्वजनिकपणे उपलब्ध असेलच असे नाही. फक्त सार्वजनिक यादी हवी तर स्पष्ट पत्ता धोरण जोडा.

मिश्र HTTP/SOCKS इनपुटमध्ये प्रोटोकॉल वेगळ्या फाइल किंवा स्तंभात ठेवा; पोर्ट 1080 वरून अंदाज लावू नका. खरे स्वरूप चौकोनी कंसातील IPv6 असल्यास योग्य पार्सर वापरा. स्क्रिप्ट अंदाजाऐवजी असमर्थित इनपुट नाकारते; आउटपुट उपलब्धता, अनामिकता, देश किंवा वेग सांगत नाही. त्यासाठी नियंत्रित जोडणी चाचण्या हव्यात.