Блоктайтын прокси-пул сұрауы Scrapy-ді тоқтатуы мүмкін
Синхронды прокси-пул API шақыруын Scrapy-дің оқиғалар циклі жолынан тыс ұстаңыз және соңғы нүктелерді анықтауға өз сәтсіздік саясатын беріңіз.
Сканерлеушіде жеткілікті параллель сұрау конфигурацияланған. Соған қарамастан ол прокси-пулдан басқа мекенжай сұраған сайын тоқтайды. Көбірек прокси қосу бұл тоқтауға әсер етпейді.
Кең таралған middleware үлгісі requests.get(pool_url) шақыруын process_request() ішінде жасайды. Бұл Scrapy-дің асинхронды қозғалтқышымен ынтымақтасуы керек жолдағы синхронды желілік операция. Шақыру күтіп тұрғанда, ол сол оқиғалар циклі ағынындағы байланыссыз жұмысты тежеуі мүмкін.
Жұмыста екі сұрау бар
Бір сұрау пул қызметінен соңғы нүкте алады. Екіншісі сол нүктені межеге қосылу үшін пайдаланады. Оларды бөлек өлшеп, есеп беріңіз. Баяу пул API қосымша оған қосылмай тұрып-ақ әрбір таңдалған проксиді баяу көрсетуі мүмкін.
Орнатылған Scrapy нұсқасы қолдайтын асинхронды анықтау интеграциясын пайдаланыңыз немесе әр сұраудың маңызды жолынан тыс шектеулі жергілікті соңғы нүктелер жиынын алып, жаңартып отырыңыз. Егер блоктайтын жұмысты басқа жаққа жылжыту қажет болса, сол орындаушыға өз шектеулері мен таймаут өңдеуін беріңіз; шексіз кезек кідірістің орнын ғана ауыстырады.
Әр сұрау үшін автоматты түрде тағы бір анықтау шақыруын жасамаңыз. Қысқа мерзімді кэш немесе жалға алынған партия пул қызметіне тәуелділікті азайта алады, егер оның өмір сүру мерзімі қызметтің нақты соңғы нүкте саясатына сәйкес келсе.
Сәтсіз іздеудің мәнін анықтаңыз
Бос немесе сәтсіз пул жауабы прокси метадеректерін үнсіз жойып, тікелей сұрауға рұқсат бермеуі керек. Айқын нәтиже таңдаңыз: тапсырма бюджеті шегінде күту, сәтсіздік, немесе мақұлданған кэштелген соңғы нүктені пайдалану.
Пул API-нің өз бағдарын да бос ұстаңыз. Егер бұл ішкі қызмет болса, оның жеке хост атауын таңдауға көмектесетін прокси арқылы жіберу шеңберлік тәуелділік туғызуы мүмкін.
Анықтау байланыссыз жұмысты блоктамай жұмыс істей бастаған соң, қарапайым прокси транзакциясын қарап шығыңыз. Бұлар бөлек жөндеулер және олардың уақыты журналда бөлек өрістерге лайық.