Scrapy ಕುಕಿ ಜಾರ್ ಒಂದು ಸೆಷನ್ಗೆ ಸೇರಿದ್ದು, ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಪ್ರಾಕ್ಸಿಗೆ ಅಲ್ಲ
ಹಲವು ಪ್ರಾಕ್ಸಿ ವರ್ಕ್ಫ್ಲೋಗಳು ಒಂದೇ ಸ್ಪೈಡರ್ ಹಂಚಿಕೊಂಡಾಗ ಸ್ಪಷ್ಟವಾದ ಕುಕಿ-ಜಾರ್ ಗುರುತನ್ನು ಆಯ್ಕೆಮಾಡಿ ಮತ್ತು ಆ ಗುರುತನ್ನು ಮುಂದಿನ ವಿನಂತಿಗಳಿಗೆ ಒಯ್ಯಿರಿ.
ಪ್ರಾಕ್ಸಿ ಬದಲಿಸುವುದು ಸ್ಪೈಡರ್ನ ಕುಕಿಗಳನ್ನು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಬದಲಿಸುವುದಿಲ್ಲ. ಇದು ಮುಂದುವರಿಯುವ ಒಂದು ಸೆಷನ್ಗೆ ಉಪಯುಕ್ತವಾಗಬಹುದು ಮತ್ತು ಹಲವು ಸ್ವತಂತ್ರ ಸೆಷನ್ಗಳು ಒಂದೇ ಸ್ಪೈಡರ್ ಹಂಚಿಕೊಂಡಾಗ ಆಶ್ಚರ್ಯಕರವಾಗಬಹುದು.
Scrapy ನ ಕುಕಿ ಮಿಡಲ್ವೇರ್ ವಿನಂತಿಯ cookiejar ಮೆಟಾಡೇಟಾದಿಂದ ಆಯ್ಕೆಯಾಗುವ ಪ್ರತ್ಯೇಕ ಜಾರ್ಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ. ಆ ಕೀಗೆ ನೀವು ನಿಜವಾಗಿ ಉಳಿಸಿಕೊಳ್ಳಲು ಬಯಸುವ ಗುರುತನ್ನು ನೀಡಿ:
yield scrapy.Request(
'https://example.com/start',
meta={'proxy': selected_proxy, 'cookiejar': 'workflow-17'},
)
ಎಂಡ್ಪಾಯಿಂಟ್ ಮತ್ತು ಜಾರ್-ಕೀ ಸ್ವತಂತ್ರ ಆಯ್ಕೆಗಳು. ಅನಧಿಕೃತ ಸಾರ್ವಜನಿಕ ಕ್ರಾಲ್ ತನ್ನ ಆಯ್ಕೆಯ HTTP ಎಂಡ್ಪಾಯಿಂಟ್ ಅನ್ನು HTTP ಪ್ರಾಕ್ಸಿ ಪಟ್ಟಿಯಿಂದ ಆ ಮಾರ್ಗಕ್ಕೆ ಅನುಮತಿ ಇರುವಲ್ಲಿ ತೆಗೆದುಕೊಳ್ಳಬಹುದು; ವರ್ಕ್ಫ್ಲೋ ಇನ್ನೂ ಜಾರ್-ಕೀಯ ಮಾಲೀಕ. ಈ ಸೆಷನ್ನಲ್ಲಿ ಉಳಿಯಬೇಕಾದ ಮುಂದಿನ ವಿನಂತಿಗೆ ಅದೇ ಜಾರ್-ಕೀ ಬೇಕು; ನೀವು ರಚಿಸುವ ಪ್ರತಿ ಹೊಸ ವಿನಂತಿಗೆ ಮೆಟಾಡೇಟಾ ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಅಂಟಿಕೊಳ್ಳುವುದಿಲ್ಲ. ಎಲ್ಲಾ ಮಿಡಲ್ವೇರ್ ಮೆಟಾಡೇಟಾವನ್ನು ಕುರುಡಾಗಿ ನಕಲಿಸುವ ಬದಲು ವರ್ಕ್ಫ್ಲೋಗೆ ಬೇಕಾದ ನಿರ್ದಿಷ್ಟ ಕ್ಷೇತ್ರಗಳನ್ನು ರವಾನಿಸಿ.
ಪ್ರಾಕ್ಸಿ ವಿಳಾಸವನ್ನು ಜಾರ್-ಕೀ ಆಗಿ ಬಳಸುವುದು ಕೇವಲ ಒಂದು ನೀತಿ
ಆ ಶಾರ್ಟ್ಕಟ್ ಸ್ಥಿತಿಯನ್ನು ಎಂಡ್ಪಾಯಿಂಟ್ ಪ್ರಕಾರ ಗುಂಪು ಮಾಡುತ್ತದೆ. ಅದು ವ್ಯಕ್ತಿ, ಖಾತೆ ಅಥವಾ ಸಾರ್ವಜನಿಕ ನಿರ್ಗಮನದ ಪ್ರಕಾರ ಗುಂಪು ಮಾಡಬೇಕೆಂದಿಲ್ಲ. ಒಂದು ಪೂರೈಕೆದಾರ ಎಂಡ್ಪಾಯಿಂಟ್ ನಿರ್ಗಮನಗಳನ್ನು ತಿರುಗಿಸಬಹುದು, ಮತ್ತು ಹಲವು ಖಾತೆಗಳು ಅದೇ ಎಂಡ್ಪಾಯಿಂಟ್ ಬಳಸಬಹುದು.
ಸ್ಥಿರ ಸ್ಥಿತಿ ಬೇಕಾಗುವ ಅಧಿಕೃತ ವರ್ಕ್ಫ್ಲೋಗೆ ಖಾತೆ/ಸೆಷನ್ ಗುರುತಿಸುವಿಕೆ, ಜಾರ್ ಗುರುತಿಸುವಿಕೆ ಮತ್ತು ಆಯ್ಕೆಮಾಡಿದ ಮಾರ್ಗವನ್ನು ಪ್ರತ್ಯೇಕವಾಗಿ ದಾಖಲಿಸಿ. ಅರ್ಧದಾರಿಯಲ್ಲಿ ಮಾರ್ಗ ಬದಲಿಸಲು ನಿರ್ಧರಿಸಿದರೆ, ಅಪ್ಲಿಕೇಶನ್ ಸೆಷನ್ಗೆ ಏನಾಗಬೇಕು ಎಂಬುದನ್ನೂ ನಿರ್ಧರಿಸಿ.
ಪ್ರತ್ಯೇಕ ಜಾರ್ಗಳು ನೀವು ವ್ಯಾಖ್ಯಾನಿಸಿದ ಗುಂಪುಗಳ ನಡುವೆ ಆಕಸ್ಮಿಕ ಕುಕಿ ಹಂಚಿಕೆಯನ್ನು ತಡೆಯುತ್ತವೆ. ಆದರೆ ಯಾವುದೇ ಗಮ್ಯಸ್ಥಾನವು ಖಾತೆ ಅಥವಾ ಇತರ ಅಪ್ಲಿಕೇಶನ್ ಡೇಟಾದ ಮೂಲಕ ಎರಡು ವಿನಂತಿಗಳನ್ನು ಸಂಬಂಧಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ ಎಂದು ಅವು ಭರವಸೆ ನೀಡುವುದಿಲ್ಲ.
IP ಬದಲಿಸಿದ ನಂತರವೂ ತಪ್ಪು ಪುಟ ಉಳಿದರೆ, ಎಲ್ಲಾ ಕುಕಿ ಅಳಿಸುವ ಅಥವಾ ಇಡೀ ಪ್ರಾಕ್ಸಿ ಪೂಲ್ ಬದಲಿಸುವ ಮೊದಲು ಯಾವ ಜಾರ್ ವಿನಂತಿ ಕಳುಹಿಸಿತು ಎಂದು ಪರಿಶೀಲಿಸಿ. ಉಳಿಸಿಕೊಂಡ ಸ್ಥಿತಿ ಪುಟವನ್ನು ಚೆನ್ನಾಗಿ ವಿವರಿಸಬಹುದು.