Scrapy ನ HTTP ಪ್ರಾಕ್ಸಿ ಮಿಡಲ್‌ವೇರ್‌ನೊಂದಿಗೆ ಪ್ರತಿ ವಿನಂತಿಗೆ ಪ್ರಾಕ್ಸಿಗಳು
ಹಳೆಯ ಕಸ್ಟಮ್ ದೃಢೀಕರಣ ಮಿಡಲ್‌ವೇರ್ ಅನ್ನು ಕ್ರಾಲರ್‌ಗೆ ನಕಲಿಸುವ ಮೊದಲು Scrapy ವಿನಂತಿ ಮೆಟಾಡೇಟಾ ಮತ್ತು ಅದರ ಪ್ರಾಕ್ಸಿ ಮಿಡಲ್‌ವೇರ್ ಬಳಸಿ.
Scrapy ನ HTTP ಪ್ರಾಕ್ಸಿ ಮಿಡಲ್‌ವೇರ್ ವಿನಂತಿ ಮೆಟಾಡೇಟಾದಿಂದ ಪ್ರಾಕ್ಸಿಯನ್ನು ಓದುತ್ತದೆ:
yield scrapy.Request(
'https://example.com/',
callback=self.parse,
meta={'proxy': 'http://203.0.113.10:8080'},
)ದಾಖಲೆಯ ಎಂಡ್‌ಪಾಯಿಂಟ್ ಬದಲಾಯಿಸಿ ಮತ್ತು ಮಿಡಲ್‌ವೇರ್ ಸಕ್ರಿಯವಾಗಿರಿಸಿ. HTTP ಪ್ರಾಕ್ಸಿ ಪಟ್ಟಿ ಈ ವಿನಂತಿ URL ಗೆ ಸಾರ್ವಜನಿಕ ಅಭ್ಯರ್ಥಿಗಳನ್ನು ನೀಡುತ್ತದೆ. ಇದು ವಿನಂತಿಯ ಮಾರ್ಗವನ್ನು ಆಯ್ಕೆಮಾಡುತ್ತದೆ; ಪ್ರಾಕ್ಸಿ ಪೂಲ್‌ಗೆ ಪ್ರತ್ಯೇಕ ಆಯ್ಕೆ ತರ್ಕ ಬೇಕು.
ದೃಢೀಕರಣವು ಆಯ್ಕೆಮಾಡಿದ ಎಂಡ್‌ಪಾಯಿಂಟ್ ಅನ್ನು ಅನುಸರಿಸುತ್ತದೆ
ಒಳಗೊಂಡಿರುವ ಮಿಡಲ್‌ವೇರ್ ತನ್ನ ಬೆಂಬಲಿತ ಪ್ರಾಕ್ಸಿ URL ಮತ್ತು ಸಂಬಂಧಿತ ಅಧಿಕಾರ ಹೆಡರ್ ಮೂಲಕ ಒದಗಿಸಿದ ರುಜುವಾತುಗಳನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ. ಕಾಯ್ದಿರಿಸಿದ URL ಅಕ್ಷರಗಳನ್ನು escape ಮಾಡಿ ಮತ್ತು ಆ URL ಅನ್ನು ಲಾಗ್ ಮಾಡುವುದನ್ನು ತಪ್ಪಿಸಿ.
ಎಂಡ್‌ಪಾಯಿಂಟ್ ಬದಲಾದ ನಂತರ ಪ್ರತ್ಯೇಕ ಮಿಡಲ್‌ವೇರ್ ಹಿಂದಿನ ಪ್ರಾಕ್ಸಿಗೆ Basic ಹೆಡರ್ ಅನ್ನು ಉಳಿಸಿಕೊಳ್ಳಬಾರದು. ಒಂದೇ ಪದರವು ಮಾರ್ಗ ಮತ್ತು ಅದರ ರುಜುವಾತುಗಳನ್ನು ಒಟ್ಟಿಗೆ ನಿರ್ವಹಿಸಲಿ.
ಆಯ್ಕೆ ಕ್ರಮ ಮತ್ತು ಡೀಫಾಲ್ಟ್‌ಗಳು
ಕಸ್ಟಮ್ ಡೌನ್‌ಲೋಡರ್ ಮಿಡಲ್‌ವೇರ್ ಪ್ರಾಕ್ಸಿಯನ್ನು ಆಯ್ಕೆಮಾಡಿದರೆ, ಒಳಗೊಂಡಿರುವ ಪ್ರಾಕ್ಸಿ ಮಿಡಲ್‌ವೇರ್ ವಿನಂತಿಯನ್ನು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸುವ ಮೊದಲು ಅದನ್ನು ಚಲಾಯಿಸಿ. ಸ್ಥಾಪಿತ ಆವೃತ್ತಿಯ ಕ್ರಮ ಮತ್ತು API ಪರಿಶೀಲಿಸಿ; ಬಳಕೆಯಲ್ಲಿಲ್ಲದ scrapy.contrib ಆಮದುಗಳು ಹಳೆಯ ಆವೃತ್ತಿಗಳಿಗೆ ಸೇರಿವೆ.
ಪ್ರಕ್ರಿಯೆ ಪರಿಸರವು ಸ್ಕೀಮ್-ನಿರ್ದಿಷ್ಟ ಡೀಫಾಲ್ಟ್‌ಗಳನ್ನು ಸಹ ಒದಗಿಸಬಹುದು. ಉದ್ದೇಶಪೂರ್ವಕ ನೇರ ವಿನಂತಿಗೆ ದಾಖಲಿತ ವಿಶೇಷ proxy ಮೆಟಾಡೇಟಾ ವರ್ತನೆ ಬಳಸಿ: ಗೈರುಹಾಜರಾದ ಕೀಲಿ ಯಾವಾಗಲೂ ನೇರ ಪ್ರವೇಶ ಎಂದಲ್ಲ.
ವಾಸ್ತವ ಫಲಿತಾಂಶ ಪರಿಶೀಲಿಸಿ. 407 ಪ್ರಾಕ್ಸಿ ದೃಢೀಕರಣಕ್ಕೆ ಸಂಬಂಧಿಸಿದೆ, ಆದರೆ ವೆಬ್‌ಸೈಟ್‌ನ ದರ ಮಿತಿ ಅಥವಾ ಪ್ರವೇಶ ನಿರಾಕರಣೆ ಮಾರ್ಗ ಸರಿಯಾಗಿ ಕೆಲಸ ಮಾಡಿದ ನಂತರ ಬರಬಹುದು.