Scrapy прокси мидлвер: Request наспрам None као повратне вредности

Адреса проксија се мења у дневнику. Одредиште се никада не појављује у дневнику приступа проксија. Проверите да ли ваш мидлвер уопште пропушта захтев до преузимача.

У Scrapy мидлверу преузимача, враћање Request значи поновно заказивање тог захтева. То не значи „наставите да шаљете овај објекат са метаподацима које сам управо променио“.

За селектор који бира само руту, важан је облик:

def process_request(self, request):
    request.meta['proxy'] = self.choose_proxy()
    return None

Овај исечак приказује тренутни облик куке; користите интерфејс мидлвера који подржава инсталирано издање Scrapyја. Селектор мора да врати важећу крајњу тачку и изричито да обради недоступан скуп. Јавно претраживање које дозвољава јавне посреднике може за ту повратну вредност црпсти HTTP кандидате из списка HTTP проксија.

Враћање None дозвољава остатку мидлвера захтева и преузимачу да наставе. Враћање другог Request-а корисно је када намерно замењујете или понављате посао, али тражи разлог и услов изласка.

Ротатор који сваки пут враћа исти захтев може изнова да извршава сопствени код за одабир, а да никада не успостави везу са одредиштем. Повећавање временских ограничења или отварање додатних прокси портова не може да поправи ту петљу управљања током.

Посматрајте улазак у мидлвер, понашање при враћању и први стварни мрежни покушај као засебне догађаје. Ред у дневнику „одабран прокси“ доказује само да је селектор радио. Не доказује да је захтев са одабраном крајњом тачком послат.