Scrapy యొక్క HTTP ప్రాక్సీ మిడిల్‌వేర్‌తో ప్రతి అభ్యర్థనకు ప్రాక్సీలు
క్రాలర్‌లో పాత కస్టమ్ ప్రామాణీకరణ మిడిల్‌వేర్‌ను కాపీ చేయడానికి ముందు Scrapy అభ్యర్థన మెటాడేటా మరియు దాని ప్రాక్సీ మిడిల్‌వేర్‌ను ఉపయోగించండి.
Scrapy యొక్క HTTP ప్రాక్సీ మిడిల్‌వేర్ అభ్యర్థన మెటాడేటా నుండి ప్రాక్సీని చదువుతుంది:
yield scrapy.Request(
'https://example.com/',
callback=self.parse,
meta={'proxy': 'http://203.0.113.10:8080'},
)డాక్యుమెంటేషన్ ఎండ్‌పాయింట్‌ను భర్తీ చేసి మిడిల్‌వేర్‌ను ప్రారంభంలో ఉంచండి. HTTP ప్రాక్సీ జాబితా ఈ అభ్యర్థన URL కోసం పబ్లిక్ అభ్యర్థులను అందిస్తుంది. ఇది అభ్యర్థన మార్గాన్ని ఎంచుకుంటుంది; ప్రాక్సీ పూల్‌కు ప్రత్యేక ఎంపిక తర్కం అవసరం.
ప్రామాణీకరణ ఎంచుకున్న ఎండ్‌పాయింట్‌ను అనుసరిస్తుంది
అంతర్నిర్మిత మిడిల్‌వేర్ దాని మద్దతు ఉన్న ప్రాక్సీ URL మరియు సంబంధిత అధికార హెడర్ ద్వారా అందించిన ఆధారాలను నిర్వహిస్తుంది. రిజర్వ్ చేసిన URL అక్షరాలను escape చేయండి మరియు ఆ URLను లాగ్ చేయడం నివారించండి.
ఎండ్‌పాయింట్ మారిన తర్వాత ప్రత్యేక మిడిల్‌వేర్ మునుపటి ప్రాక్సీ కోసం Basic హెడర్‌ను ఉంచకూడదు. ఒకే పొర మార్గాన్ని మరియు దాని ఆధారాలను కలిసి నిర్వహించనివ్వండి.
ఎంపిక క్రమం మరియు డిఫాల్ట్‌లు
కస్టమ్ డౌన్‌లోడర్ మిడిల్‌వేర్ ప్రాక్సీని ఎంచుకుంటే, అంతర్నిర్మిత ప్రాక్సీ మిడిల్‌వేర్ అభ్యర్థనను ప్రాసెస్ చేయడానికి ముందు దాన్ని అమలు చేయండి. ఇన్‌స్టాల్ చేసిన విడుదల క్రమాన్ని మరియు APIని తనిఖీ చేయండి; పాతబడిన scrapy.contrib దిగుమతులు పాత విడుదలలకు చెందుతాయి.
ప్రాసెస్ వాతావరణం స్కీమ్-నిర్దిష్ట డిఫాల్ట్‌లను కూడా అందించగలదు. ఉద్దేశపూర్వకంగా నేరుగా ఉన్న అభ్యర్థన కోసం డాక్యుమెంట్ చేసిన ప్రత్యేక proxy మెటాడేటా ప్రవర్తనను ఉపయోగించండి: లేని కీ ఎప్పుడూ నేరుగా ప్రాప్యత అని అర్థం కాదు.
వాస్తవ ఫలితాన్ని తనిఖీ చేయండి. 407 ప్రాక్సీ ప్రామాణీకరణకు సంబంధించినది, అయితే వెబ్‌సైట్ రేట్ పరిమితి లేదా ప్రాప్యత నిరాకరణ మార్గం సరిగ్గా పనిచేసిన తర్వాత రావచ్చు.