Draga út proxy-endapunkta eina töfluröð í einu

Vinndu úr hverri proxy-röð sem einni einingu. Ef þú fletur út öll samsvarandi td yfir síðuna og flokkar niðurstöðurnar eftir föstum fjölda getur vistfang úr einni röð lent saman við port úr þeirri næstu þegar reitur vantar eða önnur tafla birtist.

Fyrir HTML sem forritið hefur þegar fengið má vinna úr töflu þar sem fyrstu tveir dálkarnir eru IP-vistfang og port svona:

import ipaddress
from bs4 import BeautifulSoup

soup = BeautifulSoup(html, "html.parser")
table = soup.select_one(table_selector)
if table is None:
    raise ValueError("Expected proxy table was not found")

endpoints = set()
for row in table.select("tbody tr"):
    cells = row.find_all("td", recursive=False)
    if len(cells) < 2:
        continue
    try:
        address = ipaddress.ip_address(cells[0].get_text(strip=True))
        port = int(cells[1].get_text(strip=True))
    except ValueError:
        continue
    if 1 <= port <= 65535:
        endpoints.add((str(address), port))

html og table_selector eru inntak forritsins. Veldu valið og dálkavörpun út frá raunverulegri merkingu heimildarinnar. Ókeypis proxy-listinn er ein heimild fyrir endapunktaskrár, en röðum hans ætti að skoða áður en sú vörpun er valin. Hvorki gömul töfluauðkenni né sú fullyrðing að síða innihaldi nákvæmlega 300 skrár eru varanlegt skema.

Settið fjarlægir tvítekin vistfang-og-port pör og varðveitir samt tengingu hvers pars. Samt ætti að rannsaka óvænta innflutning með núll niðurstöðum: taflan gæti hafa breyst eða skjalið sem sótt var gæti verið áskorunarsíða í stað listans.

Haltu tilkynntu samskiptareglunni og reitum fyrir athugunartíma við endapunktinn þegar þeir skipta máli. Að draga út trúverðugt IP og port staðfestir sniðið, ekki að endapunkturinn veiti nú virka HTTP- eða SOCKS-þjónustu.

Haus- eða síuröð eru ekki endapunktar. Röð sem inniheldur aðeins th-reiti er sleppt, en tómir eða óvistfanga reitir falla í staðfestingunni. Ekki henda fyrstu og síðustu röð eftir stöðu: hvort sem er getur verið raunverulegur endapunktur eftir að uppsetning síðunnar breytist.