Requests-HTML 0.10.0: Chromium starpniekservera konfigurēšana render() vajadzībām

Konfigurējiet Chromium palaišanas argumentus un Requests, kad veca Requests-HTML lapa izdodas pirms render() un neizdodas pēc tam.

Requests-HTML 0.10.0 versijā session.get() izmanto Requests, bet response.html.render() palaiž Pyppeteer un parasti atkal novirza Chromium uz lapas URL. Veiksmīga pirmā atbilde nenosaka pārlūka maršrutu.

Esošai saderīgai vecai videi, kas izmanto HTTP starpniekserveri bez autentifikācijas:

from requests_html import HTMLSession

proxy_url = 'http://proxy.example:8080'
session = HTMLSession(browser_args=[
    '--proxy-server=' + proxy_url,
])
try:
    response = session.get(
        'https://www.example.org/',
        proxies={'https': proxy_url},
        timeout=20,
    )
    response.html.render(timeout=20)
    rendered = response.html.html
finally:
    session.close()

Publiskās lapas piemērā HTTP starpniekserveru saraksts piedāvā kandidātus proxy_url vērtībai. browser_args ir sesijas publiskā konstruktora ievade. Requests vārdnīca proxies neaizpilda šos Chromium argumentus.

Arī Requests apzīmējumu socks5h:// nevar vienkārši pārkopēt uz Chromium. Chromium pieņem socks5://, atrisina SOCKS5 galamērķu nosaukumus caur starpniekserveri un neatbalsta SOCKS5 autentifikāciju ar lietotājvārdu un paroli.

render(reload=False) nodod esošo HTML pārlūkam, nevis pāriet uz lapas URL. Skripti un apakšresursi joprojām var veikt pieprasījumus. Tas ir noderīgi, ja šo atbildi apzināti renderē, bet tas nepārvērš Requests savienojumu par pārlūka transportu.

Saistītie raksti