ಹಲವು ಡೊಮೇನ್‌ಗಳಲ್ಲಿ Scrapy ಪ್ರಾಕ್ಸಿ ಸಮಕಾಲೀನತೆ
ಹಲವು ಗುರಿ ಡೊಮೇನ್‌ಗಳು ಒಂದೇ ಪ್ರಾಕ್ಸಿ ಕೋಟಾವನ್ನು ಬಳಸುವಾಗ ಡೌನ್‌ಲೋಡರ್‌ನ ಜಾಗತಿಕ ಸಮಕಾಲೀನತೆಯ ಮಿತಿಯನ್ನು ಬಳಸಿ, ನಂತರ ಅದೇ ಖಾತೆಯನ್ನು ಹಂಚಿಕೊಳ್ಳುವ ಇತರ ಕ್ರಾಲರ್‌ಗಳನ್ನೂ ಲೆಕ್ಕಿಸಿ.
ಪ್ರತಿ ಗಮ್ಯಸ್ಥಾನವೂ ಒಂದೇ ಪ್ರಾಕ್ಸಿ ಖಾತೆಯನ್ನು ಬಳಸಿದರೆ, ಆ ಖಾತೆಯ ಸಮಕಾಲೀನ ವಿನಂತಿಗಳ ಅನುಮತಿ ಆ ಎಲ್ಲಾ ಗಮ್ಯಸ್ಥಾನಗಳಲ್ಲಿ ಖರ್ಚಾಗಬಹುದು. ಪ್ರತಿ-ಡೊಮೇನ್ ಮಿತಿ ಮಾತ್ರ ಆ ಹಂಚಿದ ಬಜೆಟ್ ಅನ್ನು ವ್ಯಕ್ತಪಡಿಸುವುದಿಲ್ಲ.
ಹೆಚ್ಚೆಂದರೆ 20 ಸಮಕಾಲೀನ ವಿನಂತಿಗಳನ್ನು ಅನುಮತಿಸುವ ಕಾಲ್ಪನಿಕ ಖಾತೆಗೆ, ಸ್ವಲ್ಪ ಜಾಗ ಬಿಟ್ಟು ಕ್ರಾಲರ್‌ನ ಜಾಗತಿಕ ಡೌನ್‌ಲೋಡರ್ ಮಿತಿಯನ್ನು ಹೊಂದಿಸಿ:
CONCURRENT_REQUESTS = 16ಇದು ಉದಾಹರಣೆಯ ಹಂಚಿಕೆ, ಪ್ರತಿ ಪೂರೈಕೆದಾರರಿಗೂ ಶಿಫಾರಸು ಮಾಡಿದ ಮೌಲ್ಯವಲ್ಲ. Scrapy CONCURRENT_REQUESTS ಅನ್ನು ಡೌನ್‌ಲೋಡರ್‌ನ ಗರಿಷ್ಠ ಸಮಕಾಲೀನ ವಿನಂತಿ ಸಂಖ್ಯೆ ಎಂದು ವ್ಯಾಖ್ಯಾನಿಸುತ್ತದೆ. ಪ್ರತಿ-ಡೊಮೇನ್ ನಿಯಂತ್ರಣಗಳು ಸಮಕಾಲೀನತೆಯನ್ನು ಇನ್ನಷ್ಟು ಕಡಿಮೆ ಮಾಡಬಹುದು; ಅವು ಜಾಗತಿಕ ಮೇಲ್ಛಾವಣಿಯನ್ನು ಬದಲಿಸುವುದಿಲ್ಲ.
ಇತರ ಕ್ರಾಲರ್‌ಗಳನ್ನೂ ಲೆಕ್ಕದಲ್ಲಿ ಸೇರಿಸಿ. ಪ್ರತಿಯೊಂದಕ್ಕೂ 16 ವಿನಂತಿಗಳ ಅನುಮತಿ ಇರುವ ಎರಡು ಸ್ವತಂತ್ರ ಕ್ರಾಲರ್‌ಗಳು ಒಟ್ಟಾಗಿ 20ರ ಹಂಚಿದ ಅನುಮತಿಯನ್ನು ಮೀರಬಹುದು. ಬಜೆಟ್ ಅನ್ನು ಉದ್ದೇಶಪೂರ್ವಕವಾಗಿ ವಿಭಜಿಸಿ ಅಥವಾ ಆ ಕ್ಲೈಂಟ್‌ಗಳು ಸೇರುವಲ್ಲಿ ಹಂಚಿದ ಮಿತಿಯನ್ನು ಜಾರಿಗೊಳಿಸಿ.
ಪೂರೈಕೆದಾರರು ಏನನ್ನು ಎಣಿಸುತ್ತಾರೆ ಎಂಬುದನ್ನೂ ನಿರ್ಧರಿಸಿ. HTTP ವಿನಂತಿಗಳು, ತೆರೆದ TCP ಸಂಪರ್ಕಗಳು, ಸಕ್ರಿಯ ಸುರಂಗಗಳು ಮತ್ತು ಸೆಕೆಂಡಿಗೆ ವಿನಂತಿಗಳು ಬೇರೆ ಬೇರೆ ಪ್ರಮಾಣಗಳು. ನಿರಂತರ ಸಂಪರ್ಕಗಳು ಮತ್ತು ಮಲ್ಟಿಪ್ಲೆಕ್ಸಿಂಗ್ ಅವುಗಳ ಎಣಿಕೆಗಳನ್ನು ಭಿನ್ನಗೊಳಿಸಬಹುದು. ಆದ್ದರಿಂದ ವಿನಂತಿ-ಸಮಕಾಲೀನತೆಯ ಸೆಟ್ಟಿಂಗ್ ಪೂರ್ಣ ಸಂಪರ್ಕ ಅಥವಾ ದರ ಮಿತಿಯಲ್ಲ.
ಗುರಿ ಸೈಟ್‌ನ ವೇಗವನ್ನು ಪ್ರತ್ಯೇಕ ನಿರ್ಬಂಧವಾಗಿ ಇರಿಸಿ. ಪ್ರಾಕ್ಸಿ ಖಾತೆಯಲ್ಲಿ ಬಳಸದ ಸಾಮರ್ಥ್ಯ ಇದ್ದರೂ ಒಂದು ನಿರ್ದಿಷ್ಟ ಗಮ್ಯಸ್ಥಾನಕ್ಕೆ ಕಡಿಮೆ ಸಮಕಾಲೀನತೆ ಅಥವಾ ಡೌನ್‌ಲೋಡ್ ವಿಳಂಬ ಸೂಕ್ತವಾಗಿರಬಹುದು.