Արգելափակող պրոքսի-փուլի հարցումը կարող է կանգնեցնել Scrapy-ն

Սողացողն ունի բավարար զուգահեռ հարցումներ կարգավորված։ Այնուամենայնիվ այն կանգ է առնում ամեն անգամ, երբ պրոքսի-փուլից այլ հասցե է խնդրում։ Ավելի շատ պրոքսիներ ավելացնելը չի ազդում այդ կանգի վրա։

Միջանկյալ ծրագրաշարի սովորական ձևանմուշը կանչում է requests.get(pool_url) process_request()-ի ներսում։ Սա սինխրոն ցանցային գործողություն է մի ուղու վրա, որը պետք է համագործակցի Scrapy-ի ասինխրոն շարժիչի հետ։ Քանի դեռ կանչը սպասում է, այն կարող է հետ պահել անկապ աշխատանքը նույն իրադարձությունների ցիկլի հոսքում։

Աշխատանքում երկու հարցում կա

Մի հարցում վերջնակետ է ստանում փուլի ծառայությունից։ Մյուսն օգտագործում է այդ վերջնակետը՝ նպատակակետի հետ կապվելու համար։ Չափեք և հաշվետվեք դրանց մասին առանձին։ Դանդաղ փուլ API-ն կարող է յուրաքանչյուր ընտրված պրոքսի դանդաղ ցույց տալ, նույնիսկ մինչ հավելվածը կմիանա դրան։

Օգտագործեք ասինխրոն հայտնաբերման ինտեգրում, որն աջակցում է տեղադրված Scrapy տարբերակը, կամ ստացեք և թարմացրեք սահմանափակ տեղական վերջնակետերի հավաքածու՝ յուրաքանչյուր հարցման կրիտիկական ուղուց դուրս։ Եթե արգելափակող աշխատանքը պետք է տեղափոխվի, տվեք այդ կատարողին իր սեփական սահմանները և ժամկետների կառավարումը. անսահմանափակ հերթը միայն տեղափոխում է ուշացումը։

Չուղարկեք ավտոմատ կերպով ևս մեկ հայտնաբերման կանչ յուրաքանչյուր հարցման համար։ Կարճաժամկետ քեշը կամ վարձակալված խմբաքանակը կարող են նվազեցնել կախվածությունը փուլի ծառայությունից, պայմանով, որ դրա կյանքի տևողությունը համապատասխանում է ծառայության իրական վերջնակետերի քաղաքականությանը։

Սահմանեք, թե ինչ է նշանակում ձախողված հարցումը

Դատարկ կամ ձախողված փուլի պատասխանը չպետք է լուռ հեռացնի պրոքսիի մետատվյալները և թույլ տա ուղիղ հարցում։ Ընտրեք հստակ արդյունք՝ սպասել աշխատանքի բյուջեի սահմաններում, ձախողվել, կամ օգտագործել հաստատված քեշավորված վերջնակետ։

Փուլ API-ի սեփական ուղին նույնպես ազատ պահեք։ Եթե դա ներքին ծառայություն է, նրա մասնավոր հոսթանունն այն պրոքսիի միջով ուղարկելը, որն օգնում է ընտրել այն, կարող է շրջանաձև կախվածություն ստեղծել։

Երբ հայտնաբերումն աշխատում է առանց անկապ աշխատանքը արգելափակելու, քննեք սովորական պրոքսի գործարքը։ Դրանք առանձին վերանորոգումներ են, և դրանց ժամանակացույցն արժանի է առանձին դաշտերի մատյանում։