Atera proxy muturrak taularen errenkada bat aldi bakoitzeko

Aztertu proxy errenkada bakoitza unitate gisa. Orrialdeko td guztiak lautu eta emaitzak zenbaki finko baten arabera taldekatzen badituzu, errenkada bateko helbidea hurrengoko portu batekin pareka daiteke gelaxka bat falta denean edo beste taula bat agertzen denean.

Aplikazioak dagoeneko lortu duen HTMLrako, lehen bi zutabeak IP helbidea eta portua dituen taula honela azter daiteke:

import ipaddress
from bs4 import BeautifulSoup

soup = BeautifulSoup(html, "html.parser")
table = soup.select_one(table_selector)
if table is None:
    raise ValueError("Expected proxy table was not found")

endpoints = set()
for row in table.select("tbody tr"):
    cells = row.find_all("td", recursive=False)
    if len(cells) < 2:
        continue
    try:
        address = ipaddress.ip_address(cells[0].get_text(strip=True))
        port = int(cells[1].get_text(strip=True))
    except ValueError:
        continue
    if 1 <= port <= 65535:
        endpoints.add((str(address), port))

html eta table_selector aplikazioaren sarrerak dira. Aukeratu hautatzailea eta zutabeen mapaketa iturriaren benetako markatuaren arabera. Doako proxy zerrenda mutur-erregistroen iturri bat da, baina haren errenkadak aztertu behar dira mapaketa hori aukeratu aurretik. Ez taularen ID historiko bat ez orrialde batek zehazki 300 erregistro dituelako baieztapena ez dira eskema iraunkorrak.

Multzoak helbide-portu bikote bikoiztuak kentzen ditu, bikote bakoitzaren elkarketa mantenduz. Hala ere, ustekabeko zero emaitzako inportazio bat ikertu behar da: taula alda liteke edo lortutako dokumentua zerrenda izan beharrean erronka-orrialde bat izan liteke.

Mantendu iragarritako protokoloa eta egiaztapen-orduko eremuak muturrarekin batera garrantzitsuak direnean. IP eta portu sinesgarri bat ateratzeak formatua baieztatzen du, ez muturrak orain HTTP edo SOCKS zerbitzu funtzionala eskaintzen duenik.

Goiburu edo iragazki errenkadak ez dira muturrak. th gelaxlak soilik dituen errenkada saltatu egiten da, eta eremu hutsak edo helbideak ez direnak balidazioan huts egiten dute. Ez baztertu lehen eta azken errenkada posizioaren arabera: bietako edozein mutur erreala izan daiteke orrialdearen diseinua aldatu ondoren.