Scrapy proxy ara katmanı: Request ve None dönüş değerleri

Günlükte proxy adresi değişir. Hedef, proxy'nin erişim günlüğünde hiç görünmez. Ara katmanınızın isteği indiriciye kadar geçirip geçirmediğini kontrol edin.

Scrapy'nin indirici ara katmanında Request döndürmek, o isteğin yeniden zamanlanması anlamına gelir. «Az önce değiştirdiğim üstveriyle bu nesneyi göndermeye devam et» anlamına gelmez.

Yalnızca bir yol seçen seçici için önemli biçim şudur:

def process_request(self, request):
    request.meta['proxy'] = self.choose_proxy()
    return None

Bu parça güncel kanca biçimini gösterir; kurulu Scrapy sürümünün desteklediği ara katman arayüzünü kullanın. Seçici geçerli bir uç nokta döndürmeli ve kullanılamayan havuzu açıkça ele almalıdır. Genel aracılara izin veren genel bir tarama, o dönüş değeri için HTTP proxy listesinden HTTP adayları çekebilir.

None döndürmek, kalan istek ara katmanının ve indiricinin devam etmesini sağlar. Başka bir Request döndürmek, işi bilerek değiştirdiğinizde veya yeniden denediğinizde yararlıdır, ancak bir gerekçe ve çıkış koşulu gerektirir.

Her seferinde aynı isteği döndüren bir döndürücü, hedefe hiç bağlantı kurmadan kendi seçim kodunu tekrar tekrar çalıştırabilir. Zaman aşımlarını artırmak veya daha fazla proxy portu açmak o denetim akışı döngüsünü onaramaz.

Ara katmana girişi, dönüş davranışını ve ilk gerçek ağ denemesini ayrı olaylar olarak inceleyin. «Proxy seçildi» diyen bir günlük satırı yalnızca seçicinin çalıştığını kanıtlar. Seçilen uç noktayla bir isteğin gönderildiğini kanıtlamaz.