Requests-HTML 0.10.0: configura el proxy de Chromium per a render()

Configura els arguments d'inici de Chromium i també Requests quan una pàgina antiga de Requests-HTML funciona abans de render() i falla després.

A Requests-HTML 0.10.0, session.get() fa servir Requests, mentre que response.html.render() inicia Pyppeteer i normalment torna a navegar amb Chromium a l'URL de la pàgina. Una primera resposta correcta no estableix la ruta del navegador.

Per a un entorn antic compatible existent amb un proxy HTTP sense autenticació:

from requests_html import HTMLSession

proxy_url = 'http://proxy.example:8080'
session = HTMLSession(browser_args=[
    '--proxy-server=' + proxy_url,
])
try:
    response = session.get(
        'https://www.example.org/',
        proxies={'https': proxy_url},
        timeout=20,
    )
    response.html.render(timeout=20)
    rendered = response.html.html
finally:
    session.close()

A l'exemple de pàgina pública, la llista de proxys HTTP ofereix candidats per a proxy_url. browser_args és l'entrada pública del constructor de la sessió. Un diccionari proxies de Requests no omple aquests arguments de Chromium.

La grafia socks5h:// de Requests tampoc no es pot copiar directament a Chromium. Chromium accepta socks5://, resol els noms de destinació SOCKS5 a través del proxy i no admet autenticació SOCKS5 amb nom d'usuari i contrasenya.

render(reload=False) lliura l'HTML existent al navegador en lloc de navegar a l'URL de la pàgina. Els scripts i els subrecursos encara poden fer peticions. És útil quan es vol renderitzar aquesta resposta deliberadament, però no converteix la connexió de Requests en el transport del navegador.

Articles relacionats