Scrapy shell හි එක් ලබාගැනීමක් සඳහා ප්‍රොක්සි
Scrapy shell තුළ Request හි ප්‍රොක්සි මෙටාදත්ත භාවිතා කර එම වින්‍යාසගත ඉල්ලීමේ ප්‍රතිචාරය පරීක්ෂා කරන්න.
Scrapy shell තුළ, ඩවුන්ලෝඩරය කළ යුතු ඉල්ලීම ඔබට අවශ්‍ය පරිදි ගොඩනගන්න:
from scrapy import Request
fetch(Request(
"https://www.example.com/",
meta={"proxy": "http://proxy.example:8080"},
))
response.statusHttpProxyMiddleware එම Request හි මෙටාදත්තවලින් ප්‍රොක්සි අගය කියවයි. එය සක්‍රීය ඩවුන්ලෝඩර මිඩ්ල්වෙයර් වින්‍යාසය තුළ සක්‍රීය විය යුතුය. ඉන් පසු response විචල්‍යය මෙම ලබාගැනීමට අයත් වේ. මෙම පොදු URL සඳහා, පොදු මැදිහත්කරුවන්ට අවසර දී ඇත්නම් HTTP ප්‍රොක්සි ලැයිස්තුවවෙන් සත්‍යාපනයක් නොමැති HTTP ලිපිනයක් තෝරා, එහි URL එම ඉල්ලීමේ ප්‍රොක්සි මෙටාදත්ත තුළ තබන්න.
Scrapy ව්‍යාපෘතියෙන් shell ආරම්භ කිරීමෙන් එය එම ව්‍යාපෘතියේ වින්‍යාසය පූරණය කිරීමට ඉඩ දෙයි. එය මිඩ්ල්වෙයර් සහ වෙනත් සැකසුම් තෝරයි; එය විසින්ම නිශ්චිත ප්‍රොක්සි අන්ත ලක්ෂ්‍යයක් තෝරන්නේ නැත. ඉහත ඉල්ලීම් මෙටාදත්ත එම තේරීම සෘජුවම සපයයි.
Basic අක්තපත්‍ර භාවිතා කරන ප්‍රොක්සියක් සඳහා, Scrapy ප්‍රොක්සි URL හි පරිශීලක තොරතුරු ලේඛනගත කරයි. එය ගොඩනැගීමට පෙර ගිණුම් සංරචකවල රක්ෂිත අක්ෂර කේතනය කරන්න. එම ගිණුම සඳහා වෙබ් අඩවියේ Authorization ශීර්ෂකය එක් කිරීම අවශ්‍ය නොවේ.
Scrapy එහි ආධාරක පරිසර විචල්‍යවලින් ද ප්‍රොක්සි සොයාගත හැක. ඉල්ලීමක පැහැදිලි ප්‍රොක්සි මෙටාදත්තට ප්‍රමුඛත්වය ලැබේ. හිතාමතා සෘජු ඉල්ලීමක් සඳහා, None ප්‍රොක්සි අගය එම මිඩ්ල්වෙයර්හි පරිසර-පාදක තේරීම ඉල්ලීම සඳහා අබල කරයි.