Scrapy shell'de tek bir getirme için proxy

Scrapy shell içinde, indiricinin yapmasını istediğiniz isteği oluşturun:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware proxy değerini o Request'in üst verilerinden okur. Etkin indirici ara yazılım yapılandırmasında etkinleştirilmiş olmalıdır. Sonraki response değişkeni bu getirmeye aittir. Bu genel URL için, genel aracılar izinliyse HTTP proxy listesinden kimlik doğrulaması gerektirmeyen bir HTTP adresi seçin, ardından URL'sini o isteğin proxy üst verilerine yerleştirin.

Kabuğu Scrapy projesinden başlatmak, projenin yapılandırmasını yüklemesine olanak tanır. Bu, ara yazılımı ve diğer ayarları seçer; kendisi belirli bir proxy uç noktası seçmez. Yukarıdaki istek üst verileri bu seçimi doğrudan sağlar.

Basic kimlik bilgilerini kullanan bir proxy için Scrapy, kullanıcı bilgilerini proxy URL'sinde belgeler. Oluşturmadan önce hesap bileşenlerindeki ayrılmış karakterleri kodlayın. O hesap için web sitesinin Authorization başlığını eklemeye gerek yoktur.

Scrapy ayrıca desteklediği ortam değişkenlerinden proxy'leri keşfedebilir. Bir isteğin açık proxy üst verileri önceliklidir. Kasıtlı olarak doğrudan bir istek için None proxy değeri, o ara yazılımın ortam tabanlı seçimini istek için devre dışı bırakır.