Scrapy හි HTTP ප්‍රොක්සි මිඩ්ල්වෙයාර් සමඟ ඉල්ලීමකට ප්‍රොක්සි
ක්‍රෝලරයට පැරණි අභිරුචි සත්‍යාපන මිඩ්ල්වෙයාර් පිටපත් කිරීමට පෙර Scrapy ඉල්ලීම් මෙටාදත්ත සහ එහි ප්‍රොක්සි මිඩ්ල්වෙයාර් භාවිත කරන්න.
Scrapy හි HTTP ප්‍රොක්සි මිඩ්ල්වෙයාර් ඉල්ලීම් මෙටාදත්තවලින් ප්‍රොක්සිය කියවයි:
yield scrapy.Request(
'https://example.com/',
callback=self.parse,
meta={'proxy': 'http://203.0.113.10:8080'},
)ලේඛනයේ අන්ත ලක්ෂ්‍යය ප්‍රතිස්ථාපනය කර මිඩ්ල්වෙයාර් සක්‍රීයව තබන්න. HTTP ප්‍රොක්සි ලැයිස්තුව මෙම ඉල්ලීම් URL සඳහා පොදු අපේක්ෂකයින් ලබා දෙයි. මෙය ඉල්ලීමේ මාර්ගය තෝරයි; ප්‍රොක්සි තටාකයට වෙනම තේරීම් තර්කනයක් අවශ්‍යයි.
සත්‍යාපනය තෝරාගත් අන්ත ලක්ෂ්‍යය අනුගමනය කරයි
ඇතුළත් මිඩ්ල්වෙයාර් එහි ආධාරක ප්‍රොක්සි URL සහ අදාළ අවසර ශීර්ෂය හරහා සපයන අක්තපත්‍ර හසුරුවයි. වෙන් කළ URL අක්ෂර escape කරන්න සහ එම URL ලොග් කිරීමෙන් වළකින්න.
අන්ත ලක්ෂ්‍යය වෙනස් වූ පසු වෙනම මිඩ්ල්වෙයාර් පෙර ප්‍රොක්සිය සඳහා Basic ශීර්ෂය තබා ගැනීම නොකළ යුතුය. එක් ස්ථරයක් මාර්ගය සහ එහි අක්තපත්‍ර එකට කළමනාකරණය කරයි.
තේරීම් අනුපිළිවෙල සහ පෙරනිමි
අභිරුචි බාගැනීම් මිඩ්ල්වෙයාර් ප්‍රොක්සිය තෝරන්නේ නම්, ඇතුළත් ප්‍රොක්සි මිඩ්ල්වෙයාර් ඉල්ලීම සකසන පෙර එය ධාවනය කරන්න. ස්ථාපිත නිකුතුවේ අනුපිළිවෙල සහ API පරීක්ෂා කරන්න; යල් පැන ගිය scrapy.contrib ආයාත පැරණි නිකුතුවලට අයත් වේ.
ක්‍රියාවලි පරිසරය ද යෝජනා ක්‍රමයට විශේෂිත පෙරනිමි සැපයිය හැක. හිතාමතා සෘජු ඉල්ලීමකට ලේඛනගත විශේෂ proxy මෙටාදත්ත හැසිරීම භාවිත කරන්න: නොමැති යතුරක් සැමවිටම සෘජු ප්‍රවේශය යන්න නොවේ.
සැබෑ ප්‍රතිඵලය පරීක්ෂා කරන්න. 407 ප්‍රොක්සි සත්‍යාපනයට අදාළ වේ, නමුත් වෙබ් අඩවියේ වේග සීමාවක් හෝ ප්‍රවේශ ප්‍රතික්ෂේපයක් මාර්ගය නිවැරදිව ක්‍රියා කිරීමෙන් පසු පැමිණිය හැක.