Kusoma CSV kupitia proksi kwa pandas na Requests

Leta CSV kwa Requests transport iliyosanidiwa, angalia matokeo ya HTTP, na mpe pandas bafa ya baiti kwa uchanganuzi.

Wakati njia ya HTTP inahitaji udhibiti wa wazi wa proksi, lete CSV kwanza na uache pandas ishughulikie baiti zinazopatikana:

from io import BytesIO
import pandas as pd
import requests

route = {
    'http': 'http://proxy.example:8080',
    'https': 'http://proxy.example:8080',
}
with requests.get(
    'https://data.example/report.csv',
    proxies=route,
    timeout=(5, 30),
) as response:
    response.raise_for_status()
    frame = pd.read_csv(BytesIO(response.content), encoding='utf-8')

Proksi hushughulikia usafirishaji; orodha ya proksi HTTP hutoa watahiniwa wa mwisho wa njia kwa njia ya HTTP ya umma. pandas hupokea kitu kinachofanana na faili na kutumia chaguo zake za kawaida za kitenganishi, safu, usimbaji na aina za data.

Kuangalia matokeo ya HTTP kabla ya uchanganuzi huepusha kuchukua mwili dhahiri wa hitilafu ya HTTP kama jedwali. Chunguza pia maudhui yasiyotarajiwa: ukurasa wa kuingia au sera unaweza kurudisha 200 na bado uwe HTML badala ya CSV iliyoombwa.

Kwa URL za HTTP, storage_options za read_csv hupelekwa kama vichwa vya ombi. Kiolesura hicho si ramani ya proxies kwa mtindo wa Requests.

Bafa haina jina la faili la kumbukumbu la kuongoza uamuzi wa mgandamizo. Bainisha compression wakati mzigo ulioletwa unahitaji. Mpangilio huo wa kuchukua-kwanza hufanya kazi na read_excel na bafa ya baiti, ukitumia injini ya lahajedwali inayofaa muundo huo.

Mfano huu huweka jibu lote kwenye kumbukumbu. Kwa mauzo makubwa, pitisha kwa mtiririko hadi faili la ndani linalosimamiwa na uchanganue faili hilo, kwa kugawanya sehemu pale mtiririko wa data unapowezesha.

Makala zinazohusiana