ప్రాక్సీ ఎండ్‌పాయింట్లను ఒకసారి ఒక పట్టిక వరుసగా తీయండి

ప్రతి ప్రాక్సీ వరుసను ఒక యూనిట్‌గా విశ్లేషించండి. పేజీలోని అన్ని సరిపోలే td లను చదును చేసి ఫలితాలను స్థిర సంఖ్యలో సమూహపరిచినట్లయితే, సెల్ తప్పిపోయినప్పుడు లేదా మరో పట్టిక కనిపించినప్పుడు ఒక వరుస చిరునామా తదుపరి వరుస పోర్టుతో జతకట్టవచ్చు.

అప్లికేషన్ ఇప్పటికే పొందిన HTML కోసం, మొదటి రెండు నిలువు వరుసలు IP చిరునామా మరియు పోర్టు అయిన పట్టికను ఇలా విశ్లేషించవచ్చు:

import ipaddress
from bs4 import BeautifulSoup

soup = BeautifulSoup(html, "html.parser")
table = soup.select_one(table_selector)
if table is None:
    raise ValueError("Expected proxy table was not found")

endpoints = set()
for row in table.select("tbody tr"):
    cells = row.find_all("td", recursive=False)
    if len(cells) < 2:
        continue
    try:
        address = ipaddress.ip_address(cells[0].get_text(strip=True))
        port = int(cells[1].get_text(strip=True))
    except ValueError:
        continue
    if 1 <= port <= 65535:
        endpoints.add((str(address), port))

html మరియు table_selector అప్లికేషన్ ఇన్‌పుట్‌లు. మూలం యొక్క వాస్తవ మార్కప్ నుండి సెలెక్టర్ మరియు నిలువు వరుస మ్యాపింగ్‌ను ఎంచుకోండి. ఉచిత ప్రాక్సీ జాబితా ఎండ్‌పాయింట్ రికార్డులకు ఒక మూలం, కానీ ఆ మ్యాపింగ్‌ను ఎంచుకునే ముందు దాని వరుసలను పరిశీలించాలి. పాత పట్టిక ID గానీ, ఒక పేజీలో సరిగ్గా 300 రికార్డులు ఉన్నాయనే వాదన గానీ నిలకడైన స్కీమా కాదు.

ఈ సమితి ప్రతి జత అనుబంధాన్ని కాపాడుతూ నకిలీ చిరునామా-మరియు-పోర్టు జతలను తొలగిస్తుంది. అయినప్పటికీ ఊహించని సున్నా-ఫలిత దిగుమతిని విచారించాలి: పట్టిక మారి ఉండవచ్చు లేదా తీసుకున్న పత్రం జాబితాకు బదులు ఛాలెంజ్ పేజీ కావచ్చు.

ముఖ్యమైనప్పుడు ప్రకటించిన ప్రోటోకాల్ మరియు తనిఖీ-సమయ ఫీల్డ్‌లను ఎండ్‌పాయింట్‌తో పాటు ఉంచండి. నమ్మదగిన IP మరియు పోర్టును తీయడం ఆకృతిని మాత్రమే నిర్ధారిస్తుంది, ఎండ్‌పాయింట్ ఇప్పుడు పనిచేసే HTTP లేదా SOCKS సేవను అందిస్తుందని కాదు.

శీర్షిక లేదా ఫిల్టర్ వరుసలు ఎండ్‌పాయింట్లు కావు. కేవలం th సెల్‌లు ఉన్న వరుస దాటవేయబడుతుంది, ఖాళీ లేదా చిరునామా కాని ఫీల్డ్‌లు ధృవీకరణలో విఫలమవుతాయి. పేజీ లేఅవుట్ మారిన తర్వాత మొదటి మరియు చివరి వరుసను స్థానం ఆధారంగా విస్మరించవద్దు: రెండూ నిజమైన ఎండ్‌పాయింట్ కావచ్చు.