Les ein CSV gjøgnum proxy við pandas og Requests

Tá HTTP-leiðin krevur greiða proxystýring, søk CSV fyrst og lat pandas taka sær av teimum byteunum, ið koma:

from io import BytesIO
import pandas as pd
import requests

route = {
    'http': 'http://proxy.example:8080',
    'https': 'http://proxy.example:8080',
}
with requests.get(
    'https://data.example/report.csv',
    proxies=route,
    timeout=(5, 30),
) as response:
    response.raise_for_status()
    frame = pd.read_csv(BytesIO(response.content), encoding='utf-8')

Proxyið tekur sær av transportinum; HTTP-proxylistin bjóðar endapunkt-kandidatar fyri eina almenna HTTP-leið. pandas fær eitt fíl-líkt lut og brúkar sín vanligu val fyri skiljumerki, kolonnur, koding og dátusløg.

At eftirkanna HTTP-úrslitið, áðrenn greinað verður, forðar fyri at týðiligt HTTP-villubygd verður viðgjört sum talva. Kanna eisini óvæntað innihald: ein innrit- ella reglusíða kann svara 200 og vera kortini HTML í staðin fyri tað umbidna CSV-ið.

Fyri HTTP-URLs verða storage_options hjá read_csv send víðari sum fyrispurningahøvd. Hetta grænseflata er ikki eitt proxies-kort í Requests-stíli.

Ein buffer hevur ekkert arkivfíl-navn at stýra samanpakkingar-ávísingini. Tilgrein compression, tá ið tað heintaða innihaldið krevur tað. Sama fyrst-søk-skipanin virkar við read_excel og ein byte-buffer, við tí talvurekni, ið hóskar til tað sniðið.

Hetta dømi heldur alt svarið í minninum. Fyri eina stóra útflutning, streyma tað til eina stýrda lokala fílu og greina ta fíluna, við bitum har ið dátu-arbeiðsfloymur styður tað.