Блоктоочу прокси-пул издөөсү Scrapy'ни токтотушу мүмкүн
Синхрондук прокси-пул API чакыруусун Scrapy'нин окуялар цикл жолунан сырткары кармаңыз жана акыркы чекиттерди табууга өзүнүн ийгиликсиздик саясатын бериңиз.
Сканерлөөчүдө жетиштүү параллелдүү сурамдар конфигурацияланган. Ошентсе да ал прокси-пулдан башка дарек сураган сайын токтойт. Кошумча проксилерди кошуу бул токтоого тийбейт.
Кеңири тараган middleware үлгүсү requests.get(pool_url) чакыруусун process_request() ичинде жасайт. Бул Scrapy'нин асинхрондук кыймылдаткычы менен кызматташуусу керек болгон жолдогу синхрондук тармактык операция. Чакыруу күтүп турганда, ал ошол эле окуялар цикл жибиндеги байланышсыз ишти кармап турушу мүмкүн.
Жумушта эки сурам бар
Бир сурам пул кызматынан акыркы чекит алат. Экинчиси ошол чекитти багытка туташуу үчүн колдонот. Аларды өзүнчө өлчөп, отчет бериңиз. Жай пул API колдонмо ага туташа электе эле ар бир тандалган проксини жай көрсөтүшү мүмкүн.
Орнотулган Scrapy версиясы колдогон асинхрондук табуу интеграциясын колдонуңуз, же ар бир сурамдын маанилүү жолунан сырткары чектелген жергиликтүү акыркы чекиттер топтомун алып, жаңыртып туруңуз. Эгер блоктоочу ишти башка жакка жылдыруу керек болсо, ошол аткаруучуга өзүнүн чектөөлөрүн жана таймаут иштетүүсүн бериңиз; чексиз кезек кечигүүнүн ордун гана которот.
Ар бир сурам үчүн автоматтык түрдө дагы бир табуу чакыруусун жасабаңыз. Кыска мөөнөттүү кэш же ижарага алынган топтом пул кызматына көз карандылыкты азайтышы мүмкүн, эгер анын жашоо мөөнөтү кызматтын чыныгы акыркы чекит саясатына туура келсе.
Ийгиликсиз издөө эмнени билдирерин аныктаңыз
Бош же ийгиликсиз пул жообу прокси метаберилиштерин унчукпай алып салып, түз сурамга жол бербеши керек. Ачык натыйжаны тандаңыз: тапшырма бюджетинде күтүү, ийгиликсиз болуу, же бекитилген кэштелген акыркы чекитти колдонуу.
Пул API'нин өз багытын да бош кармаңыз. Эгер бул ички кызмат болсо, анын жеке хост атын тандоого жардам берген прокси аркылуу жиберүү айлампа көз карандылыгын жаратышы мүмкүн.
Табуу байланышсыз ишти бөгөттөбөй иштегенден кийин, кадимки прокси транзакциясын карап чыгыңыз. Булар өзүнчө оңдоолор жана алардын убактысы журналда өзүнчө талааларга татыктуу.