అనేక డొమైన్లలో Scrapy ప్రాక్సీ సమకాలికత
అనేక లక్ష్య డొమైన్లు ఒకే ప్రాక్సీ కోటాను వినియోగించినప్పుడు డౌన్‌లోడర్ యొక్క ప్రపంచ సమకాలికత పరిమితిని ఉపయోగించండి, ఆపై అదే ఖాతాను పంచుకునే ఇతర క్రాలర్లను కూడా లెక్కించండి.
ప్రతి గమ్యస్థానం ఒకే ప్రాక్సీ ఖాతాను ఉపయోగిస్తే, ఆ ఖాతా యొక్క సమకాలిక అభ్యర్థనల అనుమతి ఆ గమ్యస్థానాలన్నింటిలో ఖర్చవుతుంది. కేవలం ప్రతి-డొమైన్ పరిమితి ఆ పంచుకున్న బడ్జెట్‌ను వ్యక్తపరచదు.
గరిష్ఠంగా 20 సమకాలిక అభ్యర్థనలను అనుమతించే ఒక ఊహాత్మక ఖాతా కోసం కొంత స్థలం విడిచి క్రాలర్ యొక్క ప్రపంచ డౌన్‌లోడర్ పరిమితిని సెట్ చేయండి:
CONCURRENT_REQUESTS = 16ఇది ఒక ఉదాహరణ పంపకం, ప్రతి ప్రదాతకు సిఫార్సు చేసిన విలువ కాదు. Scrapy CONCURRENT_REQUESTSను డౌన్‌లోడర్ యొక్క గరిష్ఠ సమకాలిక అభ్యర్థనల సంఖ్యగా నిర్వచిస్తుంది. ప్రతి-డొమైన్ నియంత్రణలు సమకాలికతను మరింత తగ్గించగలవు; కానీ ప్రపంచ ఉన్నత పరిమితిని భర్తీ చేయవు.
ఇతర క్రాలర్లను కూడా లెక్కలో చేర్చండి. ప్రతిదానికి 16 అభ్యర్థనల అనుమతి ఉన్న రెండు స్వతంత్ర క్రాలర్లు కలిసి 20 యొక్క పంచుకున్న అనుమతిని దాటవచ్చు. బడ్జెట్‌ను ఉద్దేశపూర్వకంగా విభజించండి లేదా ఆ క్లయింట్లు కలిసే చోట పంచుకున్న పరిమితిని అమలు చేయండి.
ప్రదాత ఏమి లెక్కిస్తారో కూడా నిర్ణయించండి. HTTP అభ్యర్థనలు, తెరిచిన TCP కనెక్షన్లు, క్రియాశీల సొరంగాలు మరియు సెకనుకు అభ్యర్థనలు వేర్వేరు పరిమాణాలు. నిరంతర కనెక్షన్లు మరియు మల్టీప్లెక్సింగ్ వాటి లెక్కలను భిన్నంగా చేయగలవు. కాబట్టి అభ్యర్థన-సమకాలికత సెట్టింగ్ పూర్తి కనెక్షన్ లేదా రేటు పరిమితి కాదు.
లక్ష్య సైట్ వేగాన్ని ప్రత్యేక నిర్బంధంగా ఉంచండి. ప్రాక్సీ ఖాతాలో ఉపయోగించని సామర్థ్యం ఉన్నప్పటికీ ఒక నిర్దిష్ట గమ్యస్థానానికి తక్కువ సమకాలికత లేదా డౌన్‌లోడ్ ఆలస్యం సరిపోవచ్చు.