د Scrapy د HTTP پروکسي مینځګړي سره د هرې غوښتنې لپاره پروکسي
د کرالر په داخل کې د زوړ ځانګړي تصدیق مینځګړي کاپي کولو دمخه د Scrapy د غوښتنې میټاډاټا او د هغې پروکسي مینځګړی وکاروئ.
د Scrapy د HTTP پروکسي مینځګړی له غوښتنې میټاډاټا څخه پروکسي لولي:
yield scrapy.Request(
'https://example.com/',
callback=self.parse,
meta={'proxy': 'http://203.0.113.10:8080'},
)
د اسنادو پای ټکی بدل کړئ او مینځګړی فعال وساتئ. د HTTP پروکسي لیست دې غوښتنې URL لپاره عامه نوماندان وړاندې کوي. دا د غوښتنې لاره ټاکي؛ د پروکسي حوض لپاره جلا د ټاکلو منطق ته اړتیا ده.
تصدیق د ټاکل شوي پای ټکي پیروي کوي
جوړ شوی مینځګړی هغه اسناد اداره کوي چې د هغې ملاتړ شوي پروکسي URL او اړوند اجازه هډر له لارې وړاندې کیږي. د URL محفوظ توري escape کړئ او د هغې URL د ثبتولو څخه ډډه وکړئ.
جلا مینځګړی باید د پای ټکي له بدلون وروسته د پخواني پروکسي لپاره Basic هډر ونه ساتي. یو پوړ دې لاره او د هغې اسناد یوځای اداره کړي.
د ټاکلو ترتیب او ډیفالټ
که ځانګړی ډاونلوډر مینځګړی پروکسي ټاکي، نو د جوړ شوي پروکسي مینځګړي لخوا د غوښتنې د پروسس کولو دمخه یې چل کړئ. د نصب شوي خپرونې ترتیب او API وګورئ؛ زاړه scrapy.contrib واردات پخوانیو خپرونو پورې اړه لري.
د پروسې چاپېریال کولی شي د سکیم ځانګړي ډیفالټ هم وړاندې کړي. د په قصد مستقیمې غوښتنې لپاره د proxy میټاډاټا مستند ځانګړی چلند وکاروئ: نه موجود کلیدي تل مستقیم لاسرسی نه معنی کوي.
ریښتینی پایله وګورئ. 407 د پروکسي تصدیق پورې اړه لري، پداسې حال کې چې د وېبسایټ د کچې حد یا د لاسرسي انکار کیدای شي دې لارې سم کار کولو وروسته راشي.