Requests-HTML 0.10.0: konfigurácia proxy pre Chromium pri render()

Nakonfigurujte argumenty spustenia Chromia aj Requests, keď stará stránka Requests-HTML uspeje pred render() a potom zlyhá.

V Requests-HTML 0.10.0 používa session.get() knižnicu Requests, zatiaľ čo response.html.render() spúšťa Pyppeteer a zvyčajne znova naviguje Chromium na URL stránky. Úspešná prvá odpoveď trasu prehliadača nenastaví.

Pre existujúce kompatibilné staré prostredie s HTTP proxy bez overovania:

from requests_html import HTMLSession

proxy_url = 'http://proxy.example:8080'
session = HTMLSession(browser_args=[
    '--proxy-server=' + proxy_url,
])
try:
    response = session.get(
        'https://www.example.org/',
        proxies={'https': proxy_url},
        timeout=20,
    )
    response.html.render(timeout=20)
    rendered = response.html.html
finally:
    session.close()

V príklade verejnej stránky ponúka zoznam HTTP proxy kandidátov pre proxy_url. browser_args je verejný vstup konštruktora relácie. Slovník proxies v Requests tieto argumenty Chromia nevyplní.

Ani zápis socks5h:// z Requests nemožno do Chromia jednoducho skopírovať. Chromium prijíma socks5://, prekladá názvy cieľov SOCKS5 cez proxy a nepodporuje overovanie SOCKS5 používateľským menom a heslom.

render(reload=False) odovzdá prehliadaču existujúce HTML namiesto navigácie na URL stránky. Skripty a podzdroje môžu stále odosielať požiadavky. Hodí sa, keď sa má táto odpoveď zámerne vykresliť, ale nepremení pripojenie Requests na prenos prehliadača.

Súvisiace články