Scrapy прокси аралык программасы: Request жана None кайтаруу маанилери

Прокси дареги журналда өзгөрөт. Бара турган жер проксинин кирүү журналында эч качан көрүнбөйт. Аралык программаңыз сурамды жүктөөчүгө өткөрүп жатабы, текшериңиз.

Scrapy жүктөөчүсүнүн аралык программасында Request кайтаруу ошол сурамды кайра пландаштырууну билдирет. Бул «ушул объектини жаңы эле өзгөрткөн метаберилиштер менен жөнөтүүнү улант» дегенди билдирбейт.

Бир гана маршрутту тандаган селектор үчүн маанилүү форма:

def process_request(self, request):
    request.meta['proxy'] = self.choose_proxy()
    return None

Бул үзүндү hook-тун учурдагы формасын көрсөтөт; орнотулган Scrapy чыгарылышы колдогон аралык программа интерфейсин колдонуңуз. Селектор жарактуу акыркы чекитти кайтарып, жеткиликсиз пулду ачык иштетүүгө тийиш. Коомдук ортомчуларга жол берген коомдук изилдөө ошол кайтаруу мааниси үчүн HTTP прокси тизмесинен HTTP талапкерлерин ала алат.

None кайтаруу калган сурам аралык программасына жана жүктөөчүгө улантууга мүмкүндүк берет. Башка Request кайтаруу ишти атайын алмаштырганда же кайра аракет кылганда пайдалуу, бирок себеп жана чыгуу шарты керек.

Ар жолу ошол эле сурамды кайтарган ротатор бара турган жерге байланыш түзбөстөн өзүнүн тандоо кодун кайра-кайра иштете алат. Тайм-ауттарды көтөрүү же кошумча прокси портторун ачуу бул башкаруу агымынын циклин оңдой албайт.

Аралык программага кирүүнү, кайтаруу жүрүм-турумун жана биринчи чыныгы тармактык аракетти өзүнчө окуялар катары караңыз. «Прокси тандалды» деген журнал сабы селектор иштегенин гана далилдейт. Тандалган акыркы чекит менен сурам жөнөтүлгөнүн далилдебейт.