Scrapy shell માં એક ફેચ માટે પ્રોક્સી

Scrapy shell ની અંદર, તમે ડાઉનલોડર પાસે જે વિનંતી કરાવવા માંગો છો તે બનાવો:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware તે Request ના મેટાડેટામાંથી પ્રોક્સી મૂલ્ય વાંચે છે. તેણે સક્રિય ડાઉનલોડર મિડલવેર રૂપરેખાંકનમાં સક્ષમ હોવું જોઈએ. ત્યારપછીનું response ચલ આ ફેચનું છે. આ જાહેર URL માટે, જાહેર મધ્યસ્થીઓને મંજૂરી હોય તો HTTP પ્રોક્સી સૂચિમાંથી પ્રમાણીકરણ વગરનું HTTP સરનામું પસંદ કરો, પછી તેનું URL તે વિનંતીના પ્રોક્સી મેટાડેટામાં મૂકો.

Scrapy પ્રોજેક્ટમાંથી shell શરૂ કરવાથી તે તે પ્રોજેક્ટનું રૂપરેખાંકન લોડ કરી શકે છે. તે મિડલવેર અને અન્ય સેટિંગ્સ પસંદ કરે છે; તે પોતે ચોક્કસ પ્રોક્સી એન્ડપોઇન્ટ પસંદ કરતું નથી. ઉપરનું વિનંતી મેટાડેટા તે પસંદગી સીધી પ્રદાન કરે છે.

Basic ઓળખપત્રો વાપરતી પ્રોક્સી માટે, Scrapy પ્રોક્સી URL માં વપરાશકર્તા માહિતીનું દસ્તાવેજીકરણ કરે છે. તેને બનાવતા પહેલાં ખાતાના ઘટકોમાં આરક્ષિત અક્ષરોને એન્કોડ કરો. તે ખાતા માટે વેબસાઇટ Authorization હેડર ઉમેરવાની જરૂર નથી.

Scrapy તેના સમર્થિત પર્યાવરણ ચલોમાંથી પણ પ્રોક્સી શોધી શકે છે. વિનંતીના સ્પષ્ટ પ્રોક્સી મેટાડેટાને પ્રાધાન્ય છે. ઇરાદાપૂર્વક સીધી વિનંતી માટે, None પ્રોક્સી મૂલ્ય તે મિડલવેરની પર્યાવરણ-આધારિત પસંદગીને વિનંતી માટે અક્ષમ કરે છે.