Python の s3fs は Botocore のプロキシ設定を引き継ぐ

基盤となる S3 クライアントが作成される前に、S3FileSystem.config_kwargs で HTTPS プロキシのマッピングを渡します。

Python の s3fs.S3FileSystem は config_kwargs を基盤の Botocore クライアント設定に渡します。プロキシのマッピングは構築時に指定してください。

import s3fs

filesystem = s3fs.S3FileSystem(
    anon=False,
    config_kwargs={
        "proxies": {
            "https": "http://proxy.example.net:8080",
        },
    },
)

https キーは HTTPS の宛先を選び、HTTP の URL は中継先を指定します。この経路の公開候補はHTTP プロキシ一覧にあります。ワークロードが意図的に平文 HTTP の S3 互換エンドポイントを使う場合は http のマッピングを追加します。

アプリケーションの AWS 認証情報、リージョン、エンドポイント設定は保持してください。anon=False 自体は認証情報を供給しません。

このファイルシステムが S3 クライアントを確立する前に config_kwargs を設定してください。元の辞書を後から編集することは、既存クライアントの転送ポリシーを差し替える正式な方法ではありません。

関連記事