Scrapy కుకీ జార్ ఒక సెషన్కు చెందుతుంది, స్వయంచాలకంగా ప్రాక్సీకి కాదు
అనేక ప్రాక్సీ వర్క్ఫ్లోలు ఒకే స్పైడర్ను పంచుకున్నప్పుడు స్పష్టమైన కుకీ-జార్ గుర్తింపును ఎంచుకోండి మరియు ఆ గుర్తింపును తదుపరి అభ్యర్థనలకు తీసుకెళ్లండి.
ప్రాక్సీ మార్చడం స్పైడర్ కుకీలను స్వయంచాలకంగా మార్చదు. ఇది కొనసాగుతున్న ఒక సెషన్కు ఉపయోగకరంగా ఉండవచ్చు, అయితే అనేక స్వతంత్ర సెషన్లు ఒకే స్పైడర్ను పంచుకున్నప్పుడు ఆశ్చర్యకరంగా ఉంటుంది.
Scrapy యొక్క కుకీ మిడిల్వేర్ అభ్యర్థన యొక్క cookiejar మెటాడేటా ద్వారా ఎంచుకున్న ప్రత్యేక జార్లకు మద్దతు ఇస్తుంది. ఆ కీకి మీరు నిజంగా కాపాడుకోవాలనుకునే గుర్తింపును ఇవ్వండి:
yield scrapy.Request(
'https://example.com/start',
meta={'proxy': selected_proxy, 'cookiejar': 'workflow-17'},
)
ఎండ్పాయింట్ మరియు జార్-కీ స్వతంత్ర ఎంపికలు. ధృవీకరించని పబ్లిక్ క్రాల్ తన ఎంచుకున్న HTTP ఎండ్పాయింట్ను HTTP ప్రాక్సీ జాబితా నుండి ఆ మార్గం అనుమతించబడిన చోట తీసుకోవచ్చు; వర్క్ఫ్లో ఇప్పటికీ జార్-కీ యజమాని. ఈ సెషన్లో ఉండాల్సిన తదుపరి అభ్యర్థనకు అదే జార్-కీ అవసరం; మీరు సృష్టించే ప్రతి కొత్త అభ్యర్థనకు మెటాడేటా స్వయంచాలకంగా అంటుకోదు. అన్ని మిడిల్వేర్ మెటాడేటాను గుడ్డిగా కాపీ చేయడం బదులు వర్క్ఫ్లోకు అవసరమైన నిర్దిష్ట ఫీల్డ్లను పంపండి.
ప్రాక్సీ చిరునామాను జార్-కీగా ఉపయోగించడం ఒక విధానం మాత్రమే
ఆ షార్ట్కట్ స్థితిని ఎండ్పాయింట్ ప్రకారం సమూహపరుస్తుంది. ఇది తప్పనిసరిగా వ్యక్తి, ఖాతా లేదా పబ్లిక్ ఎగ్జిట్ ప్రకారం సమూహపరచదు. ఒక ప్రొవైడర్ ఎండ్పాయింట్ ఎగ్జిట్లను తిప్పగలదు, అనేక ఖాతాలు ఒకే ఎండ్పాయింట్ను ఉపయోగించగలవు.
స్థిరమైన స్థితి అవసరమైన అధీకృత వర్క్ఫ్లో కోసం ఖాతా/సెషన్ గుర్తింపుదారు, జార్ గుర్తింపుదారు మరియు ఎంచుకున్న మార్గాన్ని విడివిడిగా నమోదు చేయండి. మధ్యలో మార్గాన్ని మార్చాలని నిర్ణయించుకుంటే అప్లికేషన్ సెషన్కు ఏమి జరగాలి అని కూడా నిర్ణయించండి.
ప్రత్యేక జార్లు మీరు నిర్వచించిన సమూహాల మధ్య కుకీలు యాదృచ్ఛికంగా పంచుకోవడాన్ని నిరోధిస్తాయి. కానీ ఒక గమ్యస్థానం ఖాతా లేదా ఇతర అప్లికేషన్ డేటా ద్వారా రెండు అభ్యర్థనలను అనుసంధానించలేదని అవి హామీ ఇవ్వవు.
IPలు మార్చిన తర్వాత కూడా తప్పు పేజీ కొనసాగితే, అన్ని కుకీలను తొలగించే లేదా మొత్తం ప్రాక్సీ పూల్ను భర్తీ చేసే ముందు ఏ జార్ అభ్యర్థనను పంపిందో పరిశీలించండి. నిలిపివేసిన స్థితి పేజీని బాగా వివరించగలదు.