የሚዘገይ የፕሮክሲ ገንዳ ፍለጋ Scrapyን ሊያቆም ይችላል

የጠራሚው (crawler) በቂ ተመሳሳይ ጊዜ ጥያቄዎች ተዘጋጅተውለታል። ነገር ግን ፕሮክሲ ገንዳውን ሌላ አድራሻ ሲጠይቅ አሁንም ይቆማል። ተጨማሪ ፕሮክሲዎችን መጨመር ያንን ማቆም አይነካውም።

የተለመደ የመካከለኛ አቀራረብ (middleware) የrequests.get(pool_url) ጥሪን በprocess_request() ውስጥ ያደርጋል። ይህ በScrapy ያልተመሳሳይ ጊዜ ሞተር ጋር እንዲተባበር በሚጠበቅበት መንገድ ላይ የሚፈጸም ተመሳሳይ ጊዜ የአውታረ መረብ ተግባር ነው። ጥሪው ሲጠብቅ በተመሳሳዩ የክስተት ዑደት ክር ላይ ያልተዛመደ ሥራን ሊያዘገይ ይችላል።

በሥራው ውስጥ ሁለት ጥያቄዎች አሉ

አንድ ጥያቄ ከገንዳ አገልግሎቱ የመጨረሻ ነጥብ ያገኛል። ሌላው ያንን ነጥብ ተጠቅሞ መድረሻውን ያገኝበታል። ሁለቱንም ለየብቻ ይለኩና ሪፖርት ያድርጉ። ዝግ የገንዳ API መተግበሪያው ገና ሳይገናኝ እያንዳንዱ የተመረጠ ፕሮክሲ ዝግ ያስመስል ይችላል።

በተጨማሪ የተጫነው የScrapy ስሪት የሚደግፈውን ያልተመሳሳይ ጊዜ የፍለጋ ውህደት ይጠቀሙ፣ ወይም ከእያንዳንዱ ጥያቄ ወሳኝ መንገድ ውጭ የተወሰነ የአካባቢ የመጨረሻ ነጥብ ስብስብ ያግኙና ያድሱ። የሚያዘገይ ሥራ መተላለፍ ካለበት፣ ለዚያ አስፈጻሚ የራሱን ገደቦችና የጊዜ ማብቂያ አያያዝ ይስጡት፤ ያልተገደበ ወረፋ መዘግየቱን ቦታ ብቻ ያሸጋግራል።

ለእያንዳንዱ ጥያቄ በራስ-ሰር ሌላ የፍለጋ ጥሪ አታድርጉ። የአጭር ጊዜ መሸጎጫ ወይም የተከራየ ባች በገንዳ አገልግሎቱ ላይ ያለውን ጥገኝነት ሊቀንስ ይችላል፣ የመቆያ ጊዜው ከአገልግሎቱ ትክክለኛ የመጨረሻ ነጥብ ፖሊሲ ጋር እስከሚስማማ ድረስ።

የተሳነው ፍለጋ ምን ማለት እንደሆነ ይወስኑ

ባዶ ወይም ያልተሳካ የገንዳ ምላሽ የፕሮክሲ መረጃውን በዝምታ አስወግዶ ቀጥተኛ ጥያቄ መፍቀድ የለበትም። ግልጽ ውጤት ይምረጡ፦ በሥራው በጀት ውስጥ መጠበቅ፣ መውደቅ፣ ወይም የተፈቀደ የተሸጎጠ የመጨረሻ ነጥብ መጠቀም።

የገንዳ API የራሱን መንገድም ንጹህ ያድርጉ። ውስጣዊ አገልግሎት ከሆነ፣ የግል ስሙን (hostname) ለመምረጥ በሚረዳው ፕሮክሲ በኩል መላክ ክብ ጥገኝነት ሊፈጥር ይችላል።

ፍለጋው ያልተዛመደ ሥራን ሳያዘገይ ከሠራ በኋላ፣ የተለመደውን የፕሮክሲ ግብይት ይመርምሩ። እነዚህ የተለያዩ ጥገናዎች ናቸው፣ ጊዜያቸውም በመዝገቡ ውስጥ የተለያዩ መስኮች ይገባዋል።