Прокси-ийн төгсгөлийн цэгүүдийг хүснэгтийн нэг мөрөөр гаргах

Прокси-ийн мөр бүрийг тусдаа нэгж гэж задлан шинжил. Хуудас дахь бүх тохирох td-г хавтгайруулж, үр дүнг тогтмол тоогоор бүлэглэвэл нүд дутуу эсвэл өөр хүснэгт гарч ирэхэд нэг мөрийн хаяг дараагийн мөрийн порттой хослогдох боломжтой.

Аппликейшн аль хэдийн авсан HTML-ийн хувьд эхний хоёр багана нь IP хаяг ба порт байх хүснэгтийг ингэж задлан шинжилж болно:

import ipaddress
from bs4 import BeautifulSoup

soup = BeautifulSoup(html, "html.parser")
table = soup.select_one(table_selector)
if table is None:
    raise ValueError("Expected proxy table was not found")

endpoints = set()
for row in table.select("tbody tr"):
    cells = row.find_all("td", recursive=False)
    if len(cells) < 2:
        continue
    try:
        address = ipaddress.ip_address(cells[0].get_text(strip=True))
        port = int(cells[1].get_text(strip=True))
    except ValueError:
        continue
    if 1 <= port <= 65535:
        endpoints.add((str(address), port))

html ба table_selector нь аппликейшны оролт юм. Сонгогч ба баганын зураглалыг эх сурвалжийн бодит тэмдэглэгээнээс сонгоно уу. Үнэгүй прокси жагсаалт нь төгсгөлийн цэгийн бичлэгийн нэг эх сурвалж боловч энэ зураглалыг сонгохын өмнө мөрүүдийг нь үзэх хэрэгтэй. Хуучин хүснэгтийн ID ч, хуудсанд яг 300 бичлэг байна гэсэн мэдэгдэл ч тогтвортой схем биш.

Олонлог давхардсан хаяг-порт хосуудыг устгаж, хос бүрийн холбоог хадгална. Гэхдээ тэг үр дүнтэй гэнэтийн импортыг мөрдөн шалгах хэрэгтэй: хүснэгт өөрчлөгдсөн эсвэл татсан баримт бичиг жагсаалт биш, сорилтын хуудас байж болно.

Чухал бол тунхагласан протокол болон шалгалтын цагийн талбаруудыг төгсгөлийн цэгийн хамт хадгал. Итгэмжлэгдэхүйц IP ба портыг гаргах нь зөвхөн форматыг баталж, тухайн төгсгөлийн цэг одоо ажиллаж буй HTTP эсвэл SOCKS үйлчилгээ үзүүлж байгааг биш.

Толгой эсвэл шүүлтүүрийн мөрүүд төгсгөлийн цэг биш. Зөвхөн th нүдтэй мөрийг алгасдаг бол хоосон эсвэл хаяг биш талбарууд шалгалтад тэнцэхгүй. Эхний болон сүүлийн мөрийг байрлалаар нь хаяж болохгүй: хуудасны байрлал өөрчлөгдсөний дараа аль аль нь бодит төгсгөлийн цэг байж болно.