Garbitu IP:ataka proxy-zerrenda Python bidez

Jarri IPv4 IP:port sarrera bat lerro bakoitzean proxies.txt fitxategian. Guztiek proxy protokolo ezagun bakarrarenak izan behar dute. Doako proxyen zerrendatik biltzen badituzu, bereizi protokoloak testu-sarrera hau prestatu aurretik. Garbiketak ez du kredentzialdun URLrik, CSV zutaberik edo IPv6 helbiderik onartzen.

Gorde liburutegi estandarreko script hau clean-proxies.py izenarekin direktorio berean:

from ipaddress import IPv4Address
from pathlib import Path

seen = set()
cleaned = []

for number, raw in enumerate(
    Path("proxies.txt").read_text(encoding="utf-8").splitlines(),
    start=1,
):
    text = raw.strip()
    if not text:
        continue
    try:
        host, port_text = text.rsplit(":", 1)
        host = str(IPv4Address(host))
        port = int(port_text)
        if not 1 <= port <= 65535:
            raise ValueError("port out of range")
    except ValueError:
        print(f"Skipping line {number}: invalid IPv4 endpoint")
        continue

    endpoint = (host, port)
    if endpoint not in seen:
        seen.add(endpoint)
        cleaned.append(f"{host}:{port}")

output = "\n".join(cleaned)
Path("proxies-clean.txt").write_text(
    output + ("\n" if output else ""),
    encoding="utf-8",
)
print(f"Saved {len(cleaned)} endpoints")

Exekutatu direktorio horretatik:

uv run --no-project python clean-proxies.py

Begiratu saltatutako lerroen oharrak eta proxies-clean.txt; sarrera-fitxategia osorik geratzen da. Irteerak lehen agerpenaren ordena mantentzen du eta helbidea gehi zenbakizko ataka erabiliz kentzen ditu bikoiztuak. 203.0.113.10:8080 bi kopiak eta 203.0.113.10:3128 kopia batek bi amaiera-puntu ematen dituzte. 08080 ataka hamartarra 8080 bihurtzen da.

Dokumentazio-helbideek formatua soilik erakusten dute. IPv4 sintaxi baliodunak helbide pribatuak eta bereziak barne hartzen ditu; beraz, garbitutako sarrera ez da nahitaez publikoki eskuragarria. Gehitu helbide-politika esplizitua zerrenda publiko hutsa behar baduzu.

HTTP/SOCKS sarrera mistoan, mantendu protokoloa fitxategi bereizietan edo zutabe batean; ez ondorioztatu 1080 atakatik. Erabili kortxetedun IPv6 parserra benetako formatua hori bada. Scriptak onartu gabeko sarrera baztertzen du, ez du asmatzen; irteerak ez du erabilgarritasun, anonimotasun, herrialde edo abiadurari buruzko ezer adierazten. Horiek kontrolatutako konexio-probak behar dituzte.