Ein uppgavulokal Requests-proxy í Google Cloud Composer

Ger eina uppgavulokala Requests-setu við greiðum vegi í staðin fyri at broyta proxy-umhvørvið í einum deildum worker-prosessi.

Fyri eina Cloud Composer-uppgávu, sum tørvar eina útgangandi HTTP-fyrispurning gjøgnum ein proxy, still HTTP-klientin inn inni í callable-uppgávuni:

def fetch_status():
    import requests

    with requests.Session() as session:
        session.trust_env = False
        with session.get(
            'https://api.example/health',
            proxies={'https': 'http://proxy.example:8080'},
            timeout=(5, 30),
        ) as response:
            response.raise_for_status()
            return response.status_code

Brúka hetta callable gjøgnum verandi uppgavuskipan DAG-ens. Proxy-in má vera atkomulig frá tí worker, sum framførir hana. Fyri loyvdar almennar API-kall uttan proxy-innlogging gevur HTTP-proxy-listin evnar til HTTP-proxy-URL setunnar. Halda eina innloggaða URL ella aðra kontostilling í tí loyniligru keldu, sum er ætlað fyri útgávuna.

Setan og svarði latast, tá funktiónin endar. trust_env=False sløkkir umhvørvisintegrering Requests, so arvaðar proxy-stillingar ikki kunnu seta ætlaða atferð hesa klientina av, og sløkkir eisini umhvørvisbygda CA-bunt-val Requests. Gev ætlaða CA-buntið gjøgnum verify-valmøguleika hesa klientina, um neyðugt.

Umhvørvisbroytir, sum eru stillaðar fyri eitt stýrt Airflow-umhvørvi, hava víðari raði og avmarkingar, sum pallurin ásetur. Tá vegurin verður latin hesi setuni, verður avgerðin knýtt at HTTP-gerð hesa uppgávuna uttan at broyta os.environ fyri annan koda í worker-prosessinum.

Skyldar greinar