Scrapy ના HTTP પ્રોક્સી મિડલવેર સાથે દરેક વિનંતી માટે પ્રોક્સી

Scrapy નું HTTP પ્રોક્સી મિડલવેર વિનંતી મેટાડેટામાંથી પ્રોક્સી વાંચે છે:

yield scrapy.Request(
    'https://example.com/',
    callback=self.parse,
    meta={'proxy': 'http://203.0.113.10:8080'},
)

દસ્તાવેજીકરણનો એન્ડપોઇન્ટ બદલો અને મિડલવેર સક્ષમ રાખો. HTTP પ્રોક્સી સૂચિ આ વિનંતી URL માટે જાહેર ઉમેદવારો આપે છે. આ વિનંતીનો માર્ગ પસંદ કરે છે; પ્રોક્સી પૂલને અલગ પસંદગી લોજિકની જરૂર છે.

પ્રમાણીકરણ પસંદ કરેલા એન્ડપોઇન્ટને અનુસરે છે

બિલ્ટ-ઇન મિડલવેર તેના સમર્થિત પ્રોક્સી URL અને સંબંધિત ઑથોરાઇઝેશન હેડર દ્વારા આપેલી ઓળખપત્રો સંભાળે છે. અનામત URL અક્ષરો escape કરો અને તે URL ને લોગ કરવાનું ટાળો.

એન્ડપોઇન્ટ બદલાયા પછી અલગ મિડલવેરે અગાઉના પ્રોક્સી માટે Basic હેડર રાખવો ન જોઈએ. એક સ્તર માર્ગ અને તેની ઓળખપત્રો સાથે મળીને સંભાળે.

પસંદગીનો ક્રમ અને ડિફૉલ્ટ

જો કસ્ટમ ડાઉનલોડર મિડલવેર પ્રોક્સી પસંદ કરે, તો બિલ્ટ-ઇન પ્રોક્સી મિડલવેર વિનંતી પ્રક્રિયા કરે તે પહેલાં તેને ચલાવો. સ્થાપિત આવૃત્તિનો ક્રમ અને API તપાસો; અપ્રચલિત scrapy.contrib આયાત જૂની આવૃત્તિઓની છે.

પ્રક્રિયા પર્યાવરણ સ્કીમ-વિશિષ્ટ ડિફૉલ્ટ પણ આપી શકે છે. ઇરાદાપૂર્વક સીધી વિનંતી માટે દસ્તાવેજીકૃત વિશેષ proxy મેટાડેટા વર્તન વાપરો: ગેરહાજર કીનો અર્થ હંમેશા સીધો ઍક્સેસ નથી.

વાસ્તવિક પરિણામ તપાસો. 407 પ્રોક્સી પ્રમાણીકરણ સાથે સંબંધિત છે, જ્યારે વેબસાઇટની દર મર્યાદા અથવા ઍક્સેસ નકાર માર્ગ યોગ્ય રીતે કામ કર્યા પછી આવી શકે છે.