In taaklokele Requests-proxy yn Google Cloud Composer

Meitsje in taaklokele Requests-sesje mei in eksplisite rûte ynstee fan de proxy-omjouwing fan in dielde workerproses te feroarjen.

Foar in Cloud Composer-taak dy't ien útgeande HTTP-fersyk fia in proxy nedich hat, konfigurearje de HTTP-klient binnen de callable fan 'e taak:

def fetch_status():
    import requests

    with requests.Session() as session:
        session.trust_env = False
        with session.get(
            'https://api.example/health',
            proxies={'https': 'http://proxy.example:8080'},
            timeout=(5, 30),
        ) as response:
            response.raise_for_status()
            return response.status_code

Brûk dizze callable fia de besteande taakopstelling fan 'e DAG. De proxy moat berikber wêze fan 'e worker dy't it útfiert. Foar tastiene oproppen fan iepenbiere API's sûnder proxy-autentikaasje leveret de HTTP-proxylist kandidaten foar de HTTP-proxy-URL fan 'e sesje. Hâld in autentisearre URL of oare akkountkonfiguraasje yn 'e foar de útrulling bedoelde boarne fan geheimen.

De sesje en it antwurd slute as de funksje einiget. trust_env=False skeakellet de omjouwingsyntegraasje fan Requests út, wêrtroch erfd proxy-ynstellings it bedoelde gedrach fan dizze klient net ferfange kinne, en skeakellet ek de omjouwingbasearre kar fan it CA-bondel fan Requests út. Jou it bedoelde CA-bondel by need fia de verify-opsje fan dizze klient.

Omjouwingsfariabelen dy't foar in beheard Airflow-omjouwing konfigurearre binne, hawwe in breder berik en beheiningen dy't it platfoarm fêststeld hat. Troch de rûte oan dizze sesje te jaan bliuwt it beslút ferbûn oan 'e HTTP-operaasje fan dizze taak, sûnder os.environ foar oare koade yn it workerproses te feroarjen.

Relatearre artikelen