Glan liosta seachfhreastalaithe IP:port le Python

Seiceáil comhad simplí IPv4, normalú na poirt agus bain dúblaigh agus poirt éagsúla ar an IP céanna á gcoinneáil.

Cuir iontráil IPv4 amháin IP:port ar gach líne in proxies.txt. Caithfidh gach iontráil a bheith de phrótacal seachfhreastalaí aitheanta amháin. Má bhailíonn tú ón liosta seachfhreastalaithe saor in aisce, scar na prótacail roimh an ionchur téacs seo. Ní ghlacann an glanadh le URLanna le dintiúir, colúin CSV ná seoltaí IPv6.

Sábháil an script seo a úsáideann an leabharlann chaighdeánach mar clean-proxies.py san eolaire céanna:

from ipaddress import IPv4Address
from pathlib import Path

seen = set()
cleaned = []

for number, raw in enumerate(
    Path("proxies.txt").read_text(encoding="utf-8").splitlines(),
    start=1,
):
    text = raw.strip()
    if not text:
        continue
    try:
        host, port_text = text.rsplit(":", 1)
        host = str(IPv4Address(host))
        port = int(port_text)
        if not 1 <= port <= 65535:
            raise ValueError("port out of range")
    except ValueError:
        print(f"Skipping line {number}: invalid IPv4 endpoint")
        continue

    endpoint = (host, port)
    if endpoint not in seen:
        seen.add(endpoint)
        cleaned.append(f"{host}:{port}")

output = "\n".join(cleaned)
Path("proxies-clean.txt").write_text(
    output + ("\n" if output else ""),
    encoding="utf-8",
)
print(f"Saved {len(cleaned)} endpoints")

Rith ón eolaire sin é:

uv run --no-project python clean-proxies.py

Scrúdaigh fógraí na línte scipeáilte agus proxies-clean.txt; fanann an comhad ionchuir slán. Coinníonn an t-aschur ord na chéad fheiceála agus baintear dúblaigh de réir seoladh móide port uimhriúil. Tugann dhá chóip de 203.0.113.10:8080 agus ceann de 203.0.113.10:3128 dhá chríochphointe. Normalófar port deachúlach 08080 go 8080.

Ní léiríonn seoltaí na cáipéisíochta ach formáidiú. Cuimsíonn comhréir bhailí IPv4 seoltaí príobháideacha agus sainchuspóra, mar sin ní gá go mbeidh iontráil ghlanta insroichte go poiblí. Cuir polasaí seoltaí follasach leis do liosta poiblí amháin.

D’ionchur measctha HTTP/SOCKS, coinnigh an prótacal i gcomhaid ar leith nó colún; ná bain as port 1080 é. Úsáid parsálaí d’IPv6 idir lúibíní cearnacha más é sin an fíorfhormáid. Diúltaíonn an script d’ionchur gan tacaíocht seachas buille faoi thuairim a thabhairt; ní deir an t-aschur faic faoi infhaighteacht, anaithnideacht, tír ná luas. Teastaíonn tástálacha naisc rialaithe uathu.

Ailt ghaolmhara