Izdvajanje proxy IP adresa i heksadecimalnih portova iz ugrađenog JSON-a

Prazna HTML tabela ne znači uvijek da odgovor ne sadrži proxy zapise. Neke liste stavljaju JSON objekte unutar JavaScript poziva i popunjavaju redove kasnije.

Za već dobiveni izvor koji koristi poseban omotač gp.insertPrx iza kojeg slijedi JSON objekt:

import ipaddress
import json
import re

decoder = json.JSONDecoder()
endpoints = set()
for marker in re.finditer(r"gp[.]insertPrx\(\s*", html):
    try:
        row, end = decoder.raw_decode(html, marker.end())
        if not isinstance(row, dict):
            continue
        address = ipaddress.ip_address(row["PROXY_IP"])
        port = int(row["PROXY_PORT"], 16)
    except (ValueError, KeyError, TypeError):
        continue
    if 1 <= port <= 65535 and html[end:].lstrip().startswith(");"):
        endpoints.add((str(address), port))

html je tekst izvora, a ne objekt preglednika. Regularni izraz pronalazi poznati omotač; JSONDecoder određuje gdje JSON vrijednost završava. Time se izbjegava pokušaj parsiranja ugniježđenog JSON-a samo regularnim izrazom.

Polje porta u primjeru je izričito heksadecimalno: C38 znači decimalno 3128. Ne primjenjujte osnovu 16 na decimalno polje drugog pružaoca samo zato što se oba zovu port.

Ovo je parser za navedeni format, a ne JavaScript interpretator. Objektni literali u jednostrukim navodnicima, izračunate vrijednosti i drugi JavaScript izrazi zahtijevaju drugo dokumentovano sučelje za podatke. Ne izvršavajte proizvoljan kod stranice da biste dobili listu krajnjih tačaka.

Provjerite ugovor izvora i čuvajte protokolska polja odvojeno. Ako izvor umjesto toga ima popunjene HTML redove, koristite izdvajanje krajnjih tačaka po redu umjesto ovog parsera JavaScript omotača. Izdvajanje adrese i porta ne dokazuje da krajnja tačka trenutno nudi upotrebljivu proxy uslugu.