CSV bat proxy baten bidez irakurtzea pandas eta Requestsekin

HTTP ibilbideak proxyaren kontrol esplizitua behar duenean, eskuratu CSVa lehenik eta utzi pandas-i lortutako byteak kudeatzen:

from io import BytesIO
import pandas as pd
import requests

route = {
    'http': 'http://proxy.example:8080',
    'https': 'http://proxy.example:8080',
}
with requests.get(
    'https://data.example/report.csv',
    proxies=route,
    timeout=(5, 30),
) as response:
    response.raise_for_status()
    frame = pd.read_csv(BytesIO(response.content), encoding='utf-8')

Proxyak garraioa kudeatzen du; HTTP proxy zerrendak amaierako puntuen hautagaiak ematen ditu HTTP ibilbide publiko baterako. pandasek fitxategi itxurako objektua jasotzen du eta bere ohiko bereizle, zutabe, kodeketa eta datu mota aukerak aplikatzen ditu.

Analizatu aurretik HTTP emaitza egiaztatzeak HTTP errore gorputz nabarmena taula gisa tratatzea eragozten du. Aztertu ustekabeko edukia ere: saio-hasiera edo politika orri batek 200 itzul dezake eta oraindik HTML izan eskatutako CSVaren ordez.

HTTP URLetan, read_csv-ren storage_options eskaeraren goiburu gisa bidaltzen dira. Interfaze hori ez da Requests estiloko proxies mapaketa.

Buffer batek ez du fitxategi-izenik konpresioaren inferentzia gidatzeko. Zehaztu compression eskuratutako kargak behar duenean. Lehenik-eskuratu ordena bera read_excelel eta byte buffer batekin funtzionatzen du, formatu horretarako egokia den kalkulu-orri motorrarekin.

Adibide honek erantzun osoa memorian gordetzen du. Esportazio handi baterako, stream itzazu kudeatutako fitxategi lokal batera eta analizatu fitxategi hori, zatikatuz datuen lan-fluxuak onartzen duenean.