Python මගින් IP:පෝට් ප්‍රොක්සි ලැයිස්තුව පිරිසිදු කරන්න

IPv4 IP:port සටහනක් එක් පේළියකට එක බැගින් proxies.txt හි තබන්න. සියල්ල දන්නා එක් ප්‍රොක්සි ප්‍රොටෝකෝලයකට අයත් විය යුතුය. නොමිලේ ප්‍රොක්සි ලැයිස්තුවෙන් එකතු කරන්නේ නම් මෙම පෙළ ආදානය සැකසීමට පෙර ප්‍රොටෝකෝල වෙන් කරන්න. පිරිසිදු කිරීම ප්‍රවේශ තොරතුරු සහිත URL, CSV තීරු හෝ IPv6 ලිපින පිළිගන්නේ නැත.

සම්මත පුස්තකාලය භාවිත කරන මෙම ස්ක්‍රිප්ට් එක එම ඩිරෙක්ටරියේ clean-proxies.py ලෙස සුරකින්න:

from ipaddress import IPv4Address
from pathlib import Path

seen = set()
cleaned = []

for number, raw in enumerate(
    Path("proxies.txt").read_text(encoding="utf-8").splitlines(),
    start=1,
):
    text = raw.strip()
    if not text:
        continue
    try:
        host, port_text = text.rsplit(":", 1)
        host = str(IPv4Address(host))
        port = int(port_text)
        if not 1 <= port <= 65535:
            raise ValueError("port out of range")
    except ValueError:
        print(f"Skipping line {number}: invalid IPv4 endpoint")
        continue

    endpoint = (host, port)
    if endpoint not in seen:
        seen.add(endpoint)
        cleaned.append(f"{host}:{port}")

output = "\n".join(cleaned)
Path("proxies-clean.txt").write_text(
    output + ("\n" if output else ""),
    encoding="utf-8",
)
print(f"Saved {len(cleaned)} endpoints")

එම ඩිරෙක්ටරියෙන් ධාවනය කරන්න:

uv run --no-project python clean-proxies.py

මඟහැරුණු පේළි නිවේදන හා proxies-clean.txt බලන්න; ආදාන ගොනුව නොවෙනස්ව පවතී. ප්‍රතිදානය පළමු පෙනුමේ අනුපිළිවෙළ තබා ලිපිනය හා සංඛ්‍යාත්මක පෝට් යුගලය අනුව අනුපිටපත් ඉවත් කරයි. 203.0.113.10:8080 පිටපත් දෙකක් හා 203.0.113.10:3128 එකක් අන්ත ලක්ෂ්‍ය දෙකක් දෙයි. දශම පෝට් 08080 ප්‍රමිතිකරණයෙන් 8080 වේ.

ලේඛන ලිපින ආකෘතිය පමණක් පෙන්වයි. වලංගු IPv4 ව්‍යාකරණයට පෞද්ගලික හා විශේෂ භාවිත ලිපිනද අයත් බැවින් පිරිසිදු සටහනක් අනිවාර්යයෙන් පොදු ප්‍රවේශය ඇති නොවේ. පොදු පමණක් ලැයිස්තුවට පැහැදිලි ලිපින ප්‍රතිපත්තිය එක් කරන්න.

මිශ්‍ර HTTP/SOCKS ආදානයේ ප්‍රොටෝකෝල තොරතුරු වෙනම ගොනු හෝ තීරුවක තබන්න; පෝට් 1080 මත අනුමාන නොකරන්න. සැබෑ ආකෘතිය කොටු වරහන් සහිත IPv6 නම් සුදුසු පාර්සර් භාවිත කරන්න. ස්ක්‍රිප්ට් අනුමාන කිරීම වෙනුවට සහාය නැති ආදානය ප්‍රතික්ෂේප කරයි; ප්‍රතිදානය ලබාගතහැකිබව, නිර්නාමිකභාවය, රට හෝ වේගය නොකියයි. ඒවාට පාලිත සම්බන්ධතා පරීක්ෂණ අවශ්‍යය.