Echdynnu pwyntiau terfyn proxy un rhes tabl ar y tro

Dadansoddwch bob rhes proxy fel un uned. Gall gwastadau pob td sy'n cyfateb ar draws y dudalen a grwpio'r canlyniadau yn ôl cyfrif sefydlog baru cyfeiriad o un rhes â phorth o'r rhes nesaf pan fo cell ar goll neu pan ymddengys tabl arall.

Ar gyfer HTML y mae'r cymhwysiad eisoes wedi'i gael, gellir dadansoddi tabl y mae ei ddwy golofn gyntaf yn gyfeiriad IP a phorth fel hyn:

import ipaddress
from bs4 import BeautifulSoup

soup = BeautifulSoup(html, "html.parser")
table = soup.select_one(table_selector)
if table is None:
    raise ValueError("Expected proxy table was not found")

endpoints = set()
for row in table.select("tbody tr"):
    cells = row.find_all("td", recursive=False)
    if len(cells) < 2:
        continue
    try:
        address = ipaddress.ip_address(cells[0].get_text(strip=True))
        port = int(cells[1].get_text(strip=True))
    except ValueError:
        continue
    if 1 <= port <= 65535:
        endpoints.add((str(address), port))

mewnbynnau'r cymhwysiad yw html a table_selector. Dewiswch y detholwr a'r mapio colofnau o farciau gwirioneddol y ffynhonnell. Mae'r rhestr proxy am ddim yn un ffynhonnell cofnodion pwyntiau terfyn, ond dylid archwilio ei rhesi cyn dewis y mapio hwnnw. Nid yw ID tabl hanesyddol nac y gosodiad bod tudalen yn cynnwys yn union 300 o gofnodion yn sgema barhaol.

Mae'r set yn tynnu parau cyfeiriad-a-phorth dyblyg tra'n cadw cysylltiad pob pâr. Dylid ymchwilio o hyd i fewnforiad annisgwyl â sero canlyniad: efallai bod y tabl wedi newid neu efallai mai tudalen her yn hytrach na'r rhestr yw'r ddogfen a gafwyd.

Cadwch unrhyw brotocol a hysbysebwyd a meysydd amser gwirio ochr yn ochr â'r pwynt terfyn pan fyddant yn bwysig. Mae echdynnu IP a phorth credadwy yn sefydlu'r fformat, nid bod y pwynt terfyn yn darparu gwasanaeth HTTP neu SOCKS gweithredol ar hyn o bryd.

Nid yw rhesi penawd neu hidlydd yn bwyntiau terfyn. Mae rhes sy'n cynnwys celloedd th yn unig yn cael ei hepgor, tra bod meysydd gwag neu feysydd nad ydynt yn gyfeiriadau yn methu dilysu. Peidiwch â thaflu'r rhes gyntaf a'r rhes olaf yn ôl safle: gall y naill neu'r llall fod yn bwynt terfyn go iawn ar ôl i gynllun y dudalen newid.