CSV-ის წაკითხვა პროქსის მეშვეობით pandas-ითა და Requests-ით

მიიღეთ CSV კონფიგურირებული Requests ტრანსპორტით, შეამოწმეთ HTTP შედეგი და მისცით pandas-ს ბაიტური ბუფერი ანალიზისთვის.

როცა HTTP მარშრუტს პროქსის აშკარა კონტროლი სჭირდება, ჯერ მიიღეთ CSV და მიღებული ბაიტები pandas-ს მიაწოდეთ:

from io import BytesIO
import pandas as pd
import requests

route = {
    'http': 'http://proxy.example:8080',
    'https': 'http://proxy.example:8080',
}
with requests.get(
    'https://data.example/report.csv',
    proxies=route,
    timeout=(5, 30),
) as response:
    response.raise_for_status()
    frame = pd.read_csv(BytesIO(response.content), encoding='utf-8')

პროქსი ტრანსპორტს ახორციელებს; HTTP პროქსების სია საჯარო HTTP მარშრუტისთვის საბოლოო წერტილების კანდიდატებს გვაძლევს. pandas ფაილის მსგავს ობიექტს იღებს და თავის ჩვეულ გამყოფის, სვეტების, კოდირებისა და მონაცემთა ტიპების პარამეტრებს იყენებს.

HTTP შედეგის შემოწმება ანალიზამდე ხელს უშლის აშკარა HTTP შეცდომის სხეულის ცხრილად მიჩნევას. შეამოწმეთ მოულოდნელი შიგთავსიც: შესვლის ან პოლიტიკის გვერდმა შეიძლება 200 დააბრუნოს და მაინც HTML იყოს მოთხოვნილი CSV-ის ნაცვლად.

HTTP URL-ებისთვის read_csv-ის storage_options მოთხოვნის თავსარებად გადაეცემა. ეს ინტერფეისი Requests-სტილის proxies ასახვა არ არის.

ბუფერს არ აქვს არქივის ფაილის სახელი, რომელიც შეკუმშვის დასკვნას წარმართავს. მიუთითეთ compression, როცა მიღებული დატვირთვა ამას მოითხოვს. იგივე ჯერ-მიღების წყობა მუშაობს read_excel-თან და ბაიტურ ბუფერთან, იმ ფორმატისთვის შესაფერი ცხრილების ძრავით.

ეს მაგალითი მთელ პასუხს მეხსიერებაში ინახავს. დიდი ექსპორტისთვის გადააკადეთ იგი მართულ ლოკალურ ფაილში და გააანალიზეთ ეს ფაილი, ნაწილებად დაყოფით, სადაც მონაცემთა სამუშაო ნაკადი ამას უჭერს მხარს.

დაკავშირებული სტატიები