Rudda ein IP:port-proxylista við Python

Kanna eina einfalda IPv4-fílu, normalisera port og strika tvífaldingar, men varðveit ymisk port á somu IP.

Set eitt IPv4-uppslag IP:port á hvørja linju í proxies.txt. Øll skulu hoyra til eina kenda proxy-samskiftisreglu. Savnar tú úr listanum við ókeypis proxyum, skil reglurnar sundur áðrenn tú gert hetta tekstinntakið. Ruddanin tekur ikki ímóti URL við innritanarupplýsingum, CSV-teigum ella IPv6-adressum.

Goym hetta skriptið við standardbókasavninum sum clean-proxies.py í somu mappu:

from ipaddress import IPv4Address
from pathlib import Path

seen = set()
cleaned = []

for number, raw in enumerate(
    Path("proxies.txt").read_text(encoding="utf-8").splitlines(),
    start=1,
):
    text = raw.strip()
    if not text:
        continue
    try:
        host, port_text = text.rsplit(":", 1)
        host = str(IPv4Address(host))
        port = int(port_text)
        if not 1 <= port <= 65535:
            raise ValueError("port out of range")
    except ValueError:
        print(f"Skipping line {number}: invalid IPv4 endpoint")
        continue

    endpoint = (host, port)
    if endpoint not in seen:
        seen.add(endpoint)
        cleaned.append(f"{host}:{port}")

output = "\n".join(cleaned)
Path("proxies-clean.txt").write_text(
    output + ("\n" if output else ""),
    encoding="utf-8",
)
print(f"Saved {len(cleaned)} endpoints")

Koyr tað úr teirri mappuni:

uv run --no-project python clean-proxies.py

Kanna boðini um leypaðar linjur og proxies-clean.txt; inntaksfílan verður ikki broytt. Úttakið varðveitir raðfylgjuna frá fyrstu ferð og strikar tvífaldingar eftir adressu saman við talporti. Tvey eintøk av 203.0.113.10:8080 og eitt av 203.0.113.10:3128 geva tveir endapunktir. Tíggjutalsportið 08080 verður normaliserað til 8080.

Adressurnar í skjalinum vísa bert sniðið. Gildig IPv4-syntax fevnir um privatar og serligar adressur, so eitt ruddað uppslag er ikki neyðturviliga alment atkomuligt. Legg eina greiða adressureglu afturat fyri ein lista við bert almennum adressum.

Til blandað HTTP/SOCKS-inntak, varðveit regluna í serstøkum fílum ella einum teigi; met hana ikki út frá porti 1080. Brúka ein parser til IPv6 í hornklombrum um tað er veruliga sniðið. Skriptið noktar óstuðlaðum inntaki heldur enn at gita; úttakið sigur einki um tøki, dulnevni, land ella ferð. Tað krevur stýrdar sambandsroyndir.

Skyldar greinar