Proxy Requests ionadail don ghnìomh ann an Google Cloud Composer

Cruthaich seisean Requests ionadail don ghnìomh le slighe fhollaiseach an àite àrainneachd proxy pròiseas worker co-roinnte atharrachadh.

Airson gnìomh Cloud Composer a dh'fheumas aon iarrtas HTTP a-muigh tro proxy, rèitich an cliant HTTP am broinn callable a' ghnìomh:

def fetch_status():
    import requests

    with requests.Session() as session:
        session.trust_env = False
        with session.get(
            'https://api.example/health',
            proxies={'https': 'http://proxy.example:8080'},
            timeout=(5, 30),
        ) as response:
            response.raise_for_status()
            return response.status_code

Cleachd an callable seo tro rèiteachadh ghnìomhan a th' ann mar-thà anns an DAG. Feumaidh am proxy a bhith ruigsinneach bhon worker a chuireas an gnìomh an gnìomh. Airson gairmean API poblach ceadaichte gun dearbhadh proxy, bheir an liosta proxy HTTP tagraichean airson URL proxy HTTP an t-seisein. Cùm URL dearbhaichte no rèiteachadh cunntais eile anns an stòr dhìomhair a tha san amharc airson an sgaoileadh.

Dùineadh an seisean agus am freagairt nuair a thig an gnìomh gu crìch. Cuiridh trust_env=False measgachadh Requests ris an àrainneachd à comas, a chuireas casg air roghainnean proxy a chaidh a shealbhachadh bho bhith a' cur an àite giùlan san amharc a' chliant seo, agus cuiridh e cuideachd taghadh CA bundle stèidhichte air àrainneachd aig Requests à comas. Thoir seachad an CA bundle san amharc tro roghainn verify a' chliant seo ma tha feum air.

Tha farsaingeachd nas motha agus cuingean air an sònrachadh leis an àrd-ùrlar aig caochlaidhean àrainneachd a chaidh an rèiteachadh airson àrainneachd Airflow fo stiùir. Le bhith a' cur na slighe chun an t-seisein seo, cumaidh an co-dhùnadh ceangailte ri obrachadh HTTP a' ghnìomh seo gun os.environ atharrachadh airson còd eile ann am pròiseas an worker.

Artaigilean co-cheangailte