Scrapy прокси аралық бағдарламасы: Request және None қайтару мәндері

Прокси мекенжайы журналда өзгереді. Мақсатты мекенжай проксидің кіру журналында ешқашан көрінбейді. Аралық бағдарламаңыз сұранысты жүктеушіге дейін өткізіп жатқанын тексеріңіз.

Scrapy жүктеушісінің аралық бағдарламасында Request қайтару сол сұранысты қайта жоспарлау дегенді білдіреді. Бұл «осы нысанды жаңа ғана өзгерткен метадеректермен жіберуді жалғастыр» дегенді білдірмейді.

Тек маршрутты таңдайтын селектор үшін маңызды пішін:

def process_request(self, request):
    request.meta['proxy'] = self.choose_proxy()
    return None

Бұл үзінді hook-тың ағымдағы пішінін көрсетеді; орнатылған Scrapy шығарылымы қолдайтын аралық бағдарлама интерфейсін пайдаланыңыз. Селектор жарамды соңғы нүктені қайтарып, қолжетімсіз пулды анық өңдеуі керек. Жалпы делдалдарға рұқсат беретін жалпы шолу осы қайтару мәні үшін HTTP прокси тізімінен HTTP үміткерлерін ала алады.

None қайтару қалған сұраныс аралық бағдарламасына және жүктеушіге жалғастыруға мүмкіндік береді. Басқа Request қайтару жұмысты әдейі ауыстырғанда немесе қайта байқағанда пайдалы, бірақ оған себеп пен шығу шарты қажет.

Әр жолы бір сұранысты қайтаратын ротатор мақсатқа қосылым орнатпай-ақ өз таңдау кодын қайта-қайта іске қоса алады. Таймауттарды ұлғайту немесе қосымша прокси порттарын ашу бұл бақылау ағынының циклін түзетпейді.

Аралық бағдарламаға кіруді, қайтару тәртібін және алғашқы нақты желілік әрекетті бөлек оқиғалар ретінде қарастырыңыз. «Прокси таңдалды» дейтін журнал жолы тек селектордың жұмыс істегенін дәлелдейді. Таңдалған соңғы нүктемемен сұраныс жіберілгенін дәлелдемейді.