CSV файлын pandas жана Requests менен прокси аркылуу окуу

Конфигурацияланган Requests транспорту менен CSV алыңыз, HTTP жыйынтыгын текшериңиз жана pandas'ка талдоо үчүн байт буферун бериңиз.

HTTP маршруту проксини так башкарууну талап кылса, адегенде CSV алыңыз да, алынган байттарды pandas иштесин:

from io import BytesIO
import pandas as pd
import requests

route = {
    'http': 'http://proxy.example:8080',
    'https': 'http://proxy.example:8080',
}
with requests.get(
    'https://data.example/report.csv',
    proxies=route,
    timeout=(5, 30),
) as response:
    response.raise_for_status()
    frame = pd.read_csv(BytesIO(response.content), encoding='utf-8')

Прокси ташууну аткарат; HTTP прокси тизмеси коомчулукка ачык HTTP маршруту үчүн акыркы чекит талапкерлерин сунуштайт. pandas файлга окшош объект алып, адаттагы бөлгүч, тилке, коддоо жана маалымат түрү боюнча параметрлерин колдонот.

Талдоодон мурун HTTP жыйынтыгын текшерүү ачык HTTP ката денесин таблица катары кабылдоодон сактайт. Күтүлбөгөн мазмунду да караңыз: кирүү же саясат баракчасы 200 кайтарып, суралган CSV'нин ордуна дагы эле HTML болушу мүмкүн.

HTTP URL'лери үчүн read_csv'нин storage_options сурам аталыштары катары жөнөтүлөт. Бул интерфейс Requests стилиндеги proxies картасы эмес.

Буферде кысууну божомолдоону багыттай турган архив файлынын аты жок. Алынган жүк талап кылса, compression көрсөтүңүз. Ошол эле алгач-алуу тартиби read_excel жана байт буферу менен иштейт, ошол форматка ылайыктуу таблицалык кыймылдаткычты колдонуп.

Бул мисал бүт жоопту эстутумда кармайт. Чоң экспорт үчүн аны башкарылуучу жергиликтүү файлга агындырыңыз жана ошол файлды талдаңыз, маалымат агымдары колдосо, бөлүктөргө бөлүп.

Тектеш макалалар