د pandas او Requests سره د proxy له لارې CSV لوستل

CSV د تنظیم شوي Requests transport سره راوړئ، د هغې HTTP پایله وګورئ، او pandas ته د تحلیل لپاره byte buffer ورکړئ.

کله چې HTTP لاره د proxy څرګند کنټرول غواړي، لومړی CSV راوړئ او پرته له دې چې pandas د راغلو bytes پاملرنه وکړي:

from io import BytesIO
import pandas as pd
import requests

route = {
    'http': 'http://proxy.example:8080',
    'https': 'http://proxy.example:8080',
}
with requests.get(
    'https://data.example/report.csv',
    proxies=route,
    timeout=(5, 30),
) as response:
    response.raise_for_status()
    frame = pd.read_csv(BytesIO(response.content), encoding='utf-8')

Proxy د لېږد پاملرنه کوي؛ د HTTP proxy لړلیک د عامې HTTP لارې لپاره د پای نقطې نوماندان برابروي. pandas د فایل په څېر شی ترلاسه کوي او خپل معمول delimiter، column، encoding او data-type انتخابونه پلي کوي.

له تحلیل دمخه د HTTP پایلې کتنه د دې مخه نیسي چې څرګند د HTTP تېروتنې بدن د جدول په توګه ونیول شي. ناڅاپي منځپانګه هم وګورئ: د ننوتلو یا تګلارې پاڼه کېدای شي 200 بیرته راولي او بیا هم د غوښتل شوي CSV پرځای HTML وي.

د HTTP URL لپاره، د read_csv storage_options د غوښتنې سرلیکونو په توګه لېږل کېږي. هغه برخه د Requests بڼې proxies نقشه نه ده.

Buffer د فشردن د اټکل لپاره د آرشیف د فایل نوم نلري. کله چې ترلاسه شوې بار اړتیا ولري compression مشخص کړئ. هماغه لومړی-راوړه ترتیب د read_excel او byte buffer سره کار کوي، د هغې بڼې لپاره مناسب spreadsheet انجن کاروي.

دا بېلګه ټول ځواب په حافظه کې ساتي. د لوی صادرات لپاره، هغه په مدیریت شوي ځایي فایل کې stream کړئ او هغه فایل تحلیل کړئ، چېرې چې د اطلاعاتو کاري بهیر ملاتړ کوي په ټوټو ووېشل شوی.

اړوندې مقالې