pandas සහ Requests සමඟ ප්‍රොක්සි හරහා CSV කියවීම

වින්‍යාස කළ Requests transport එකකින් CSV එකක් ගෙන, එහි HTTP ප්‍රතිඵලය පරීක්ෂා කර, pandas වෙත විශ්ලේෂණය සඳහා බයිට් බෆරයක් දෙන්න.

HTTP මාර්ගයට පැහැදිලි ප්‍රොක්සි පාලනයක් අවශ්‍ය විට, පළමුව CSV එක ගෙන, ලැබෙන බයිට් pandas වෙත හසුරුවන්නට ඉඩ දෙන්න:

from io import BytesIO
import pandas as pd
import requests

route = {
    'http': 'http://proxy.example:8080',
    'https': 'http://proxy.example:8080',
}
with requests.get(
    'https://data.example/report.csv',
    proxies=route,
    timeout=(5, 30),
) as response:
    response.raise_for_status()
    frame = pd.read_csv(BytesIO(response.content), encoding='utf-8')

ප්‍රොක්සිය ප්‍රවාහනය හසුරුවයි; HTTP ප්‍රොක්සි ලැයිස්තුව පොදු HTTP මාර්ගයක් සඳහා අන්ත ලක්ෂ්‍ය අපේක්ෂකයන් සපයයි. pandas ගොනුවක් වැනි වස්තුවක් ලබාගෙන තම සුපුරුදු delimiter, column, encoding සහ data-type විකල්ප යොදයි.

විශ්ලේෂණයට පෙර HTTP ප්‍රතිඵලය පරීක්ෂා කිරීමෙන් පැහැදිලි HTTP දෝෂ බොඩියක් වගුවක් ලෙස සැලකීම වළක්වයි. අනපේක්ෂිත අන්තර්ගතය ද පරීක්ෂා කරන්න: පිවිසුම් හෝ ප්‍රතිපත්ති පිටුවක් 200 ලබා දී, ඉල්ලා ඇති CSV වෙනුවට තවමත් HTML විය හැක.

HTTP URL සඳහා, read_csv හි storage_options ඉල්ලීම් ශීර්ෂ ලෙස යවනු ලැබේ. එම අතුරුමුහුණත Requests ශෛලියේ proxies සිතියම්කරණයක් නොවේ.

බෆරයට සම්පීඩන අනුමානයට මඟ පෙන්වන ලේඛනගත ගොනු නාමයක් නැත. ලබාගත් පේලෝඩයට අවශ්‍ය විට compression සඳහන් කරන්න. එම පළමුව-ගන්න සැකැස්ම read_excel සහ බයිට් බෆරය සමඟ ක්‍රියා කරයි, එම ආකෘතියට ගැළපෙන පැතුරුම්පත් එන්ජිම භාවිතා කරමින්.

මෙම උදාහරණය සම්පූර්ණ ප්‍රතිචාරය මතකයේ තබා ගනී. විශාල නිර්යාතයක් සඳහා, එය කළමනාකරණය කළ දේශීය ගොනුවකට stream කර එම ගොනුව විශ්ලේෂණය කරන්න, දත්ත කාර්ය ප්‍රවාහය අනුග්‍රහය දෙන තැන කොටස් වලට බෙදා.

අදාළ ලිපි