IP:порт прокси жагсаалтыг Python-оор цэвэрлэх

Энгийн IPv4 файлыг шалгаж, портыг хэвийн болгож, нэг IP-ийн өөр портуудыг хадгалан давхардлыг арилга.

IPv4 IP:port бичлэгийг proxies.txt файлд мөр бүрд нэгээр оруул. Бүгд нэг мэдэгдсэн прокси протоколынх байх ёстой. Үнэгүй проксийн жагсаалтаас цуглуулбал энэ текст оролтыг бэлтгэхээс өмнө протоколуудыг салга. Цэвэрлэгээ нэвтрэх мэдээлэлтэй URL, CSV багана эсвэл IPv6 хаяг хүлээж авахгүй.

Стандарт сан ашигладаг энэ скриптийг ижил хавтаст clean-proxies.py гэж хадгал:

from ipaddress import IPv4Address
from pathlib import Path

seen = set()
cleaned = []

for number, raw in enumerate(
    Path("proxies.txt").read_text(encoding="utf-8").splitlines(),
    start=1,
):
    text = raw.strip()
    if not text:
        continue
    try:
        host, port_text = text.rsplit(":", 1)
        host = str(IPv4Address(host))
        port = int(port_text)
        if not 1 <= port <= 65535:
            raise ValueError("port out of range")
    except ValueError:
        print(f"Skipping line {number}: invalid IPv4 endpoint")
        continue

    endpoint = (host, port)
    if endpoint not in seen:
        seen.add(endpoint)
        cleaned.append(f"{host}:{port}")

output = "\n".join(cleaned)
Path("proxies-clean.txt").write_text(
    output + ("\n" if output else ""),
    encoding="utf-8",
)
print(f"Saved {len(cleaned)} endpoints")

Тэр хавтсаас ажиллуул:

uv run --no-project python clean-proxies.py

Алгассан мөрийн мэдэгдэл болон proxies-clean.txt-ийг шалга; оролтын файл хэвээр үлдэнэ. Гаралт эхэлж таарсан дарааллыг хадгалж хаяг болон тоон портын нийлбэрээр давхардлыг арилгана. Хоёр 203.0.113.10:8080 хуулбар, нэг 203.0.113.10:3128 нь хоёр цэг болно. Аравтын порт 08080 нь 8080 болно.

Баримтын хаягууд зөвхөн форматыг харуулна. Зөв IPv4 бичиглэлд хувийн болон тусгай зориулалтын хаяг багтдаг учир цэвэр бичлэг заавал нийтэд хүрэхгүй. Зөвхөн нийтийн жагсаалт хэрэгтэй бол тодорхой хаягийн бодлого нэм.

Холимог HTTP/SOCKS оролтод протоколыг тусдаа файл эсвэл баганад хадгал; 1080 портоос бүү таа. Бодит формат дөрвөлжин хаалттай IPv6 бол тохирох задлагч ашигла. Скрипт таахын оронд дэмжигдээгүй оролтыг хасна; гаралт ашиглах боломж, нэр нууцлал, улс эсвэл хурдыг хэлэхгүй. Эдгээрт хяналттай холболтын сорил хэрэгтэй.

Холбоотой нийтлэлүүд