CSV faylini pandas va Requests bilan proksi orqali o'qish

Sozlangan Requests transporti bilan CSV oling, HTTP natijasini tekshiring va pandas'ga tahlil uchun bayt buferi bering.

HTTP yo'nalishi proksini aniq boshqarishni talab qilsa, avval CSV ni oling va kelgan baytlarni pandas hal qilsin:

from io import BytesIO
import pandas as pd
import requests

route = {
    'http': 'http://proxy.example:8080',
    'https': 'http://proxy.example:8080',
}
with requests.get(
    'https://data.example/report.csv',
    proxies=route,
    timeout=(5, 30),
) as response:
    response.raise_for_status()
    frame = pd.read_csv(BytesIO(response.content), encoding='utf-8')

Proksi tashishni bajaradi; HTTP proksilar ro'yxati ommaviy HTTP yo'nalishi uchun so'nggi nuqta nomzodlarini beradi. pandas faylga o'xshash obyektni oladi va o'zining odatiy delimiter, ustun, kodlash va ma'lumot turi parametrlarini qo'llaydi.

Tahlildan oldin HTTP natijasini tekshirish aniq HTTP xato tanasini jadval deb qabul qilishning oldini oladi. Kutilmagan tarkibni ham ko'zdan kechiring: kirish yoki siyosat sahifasi 200 qaytarib, so'ralgan CSV o'rniga baribir HTML bo'lishi mumkin.

HTTP URL uchun read_csv ning storage_options so'rov sarlavhalari sifatida uzatiladi. Bu interfeys Requests uslubidagi proxies xaritasi emas.

Buferda siqilish xulosasini boshqaradigan arxiv fayl nomi yo'q. Olingan yuk talab qilsa, compression ni belgilang. Xuddi shu avval-ol tuzilmasi read_excel va bayt buferi bilan ishlaydi, shu formatga mos jadval dvigatelidan foydalanib.

Bu misol butun javobni xotirada saqlaydi. Katta eksport uchun uni boshqariladigan mahalliy faylga oqizing va shu faylni tahlil qiling, ma'lumot ish oqimi qo'llab-quvvatlasa, bo'laklarga bo'lib.

O'xshash maqolalar