pandas болон Requests-тэй проксигоор CSV унших

Тохируулсан Requests транспортoor CSV татаж, HTTP үр дүнг шалгаж, pandas-д задлан шинжлэх байт буфер өгнө.

HTTP замд проксийн тодорхой удирдлага хэрэгтэй үед эхлээд CSV-г татаж, гарсан байтуудыг pandas-д шийдүүлнэ:

from io import BytesIO
import pandas as pd
import requests

route = {
    'http': 'http://proxy.example:8080',
    'https': 'http://proxy.example:8080',
}
with requests.get(
    'https://data.example/report.csv',
    proxies=route,
    timeout=(5, 30),
) as response:
    response.raise_for_status()
    frame = pd.read_csv(BytesIO(response.content), encoding='utf-8')

Прокси тээврийг гүйцэтгэнэ; HTTP проксийн жагсаалт нээлттэй HTTP замд зориулсан төгсгөлийн цэгийн нэр дэвшигчдийг өгдөг. pandas файлтай төстэй объект хүлээн авч, ердийн delimiter, багана, кодчилол, өгөгдлийн төрлийн сонголтуудыг хэрэглэнэ.

Задлахаас өмнө HTTP үр дүнг шалгах нь тодорхой HTTP алдааны биеийг хүснэгт гэж үзэхээс сэргийлнэ. Мөн санаанд оромгүй агуулгыг шалгаарай: нэвтрэх эсвэл бодлогын хуудас 200 буцааж, хүссэн CSV-ийн оронд HTML хэвээр байж болно.

HTTP URL-ийн хувьд read_csv-ийн storage_options хүсэлтийн толгой болгон дамжуулагдана. Энэ интерфэйс нь Requests загварын proxies буулгалт биш.

Буферт шахах дүгнэлтийг чиглүүлэх архивын файлын нэр байхгүй. Татсан ачаалал шаардлагатай үед compression-ыг зааж өгнө. Мөн эхлээд-татах зохион байгуулалт read_excel болон байт буфертэй ажиллах бөгөөд тухайн форматад тохирох хүснэгтийн хөдөлгүүрийг ашиглана.

Энэ жишээ бүх хариуг санах ойд хадгална. Том экспортын хувьд үүнийг удирдагдах локал файл руу урсгаж, тэр файлыг задлан шинжилнэ, өгөгдлийн ажлын урсгал дэмжиж байгаа газарт хэсэглэнэ.

Холбоотой нийтлэлүүд