ಪ್ರತಿ aiohttp ಪ್ರಾಕ್ಸಿಗೆ ಅದರದೇ ಸಮವರ್ತಿ ಬಜೆಟ್ ನೀಡಿ

ಪ್ರಾಕ್ಸಿ ಪೂಲ್ ಬಹಳ ಭಿನ್ನ ಸಾಮರ್ಥ್ಯದ ಅಂತ್ಯಬಿಂದುಗಳನ್ನು ಹೊಂದಿರಬಹುದು. ಅಪ್ಲಿಕೇಶನ್‌ನಾದ್ಯಂತ ಐವತ್ತು ಕಾರ್ಯಾಚರಣೆಗಳನ್ನು ಅನುಮತಿಸುವುದು ಅವುಗಳಲ್ಲಿ ನಲವತ್ತೊಂಬತ್ತು ಒಂದೇ ಪ್ರಾಕ್ಸಿಯನ್ನು ಆಯ್ಕೆಮಾಡುವುದನ್ನು ತಡೆಯುವುದಿಲ್ಲ.

ನೀತಿ “ಪ್ರತಿ ಆಯ್ಕೆಮಾಡಿದ ಪ್ರಾಕ್ಸಿ ಮೂಲಕ ಹೆಚ್ಚೆಂದರೆ ನಾಲ್ಕು ನಡೆಯುತ್ತಿರುವ ಕಾರ್ಯಾಚರಣೆಗಳು” ಆಗಿದ್ದರೆ, ಆ ನೀತಿಯನ್ನು ನೇರವಾಗಿ ವ್ಯಕ್ತಪಡಿಸಿ. ಪ್ರತಿ ಪ್ರಾಕ್ಸಿ ಗುರುತಿಗೆ ಒಂದು ಸೆಮಾಫೋರ್ ಇರಿಸಿ, ಮತ್ತು ಪ್ರಾಕ್ಸಿಯ ಸಾಮರ್ಥ್ಯವನ್ನು ಬಳಸುವ ಕೆಲಸದ ಸುತ್ತ ಅದನ್ನು ಪಡೆಯಿರಿ.

limits = {proxy: asyncio.Semaphore(4) for proxy in proxy_urls}

async def fetch(session, proxy, url):
    async with limits[proxy]:
        async with session.get(url, proxy=proxy) as response:
            return await response.read()

ಈ ರೇಖಾಚಿತ್ರವು asyncio ಆಮದು ಮಾಡಲಾಗಿದೆ ಮತ್ತು ಪ್ರಾಕ್ಸಿ URL‌ಗಳು ಮಾನ್ಯಗೊಳಿಸಲಾಗಿವೆ ಎಂದು ಊಹಿಸುತ್ತದೆ. ಅನುಮತಿಸಲಾದ ಸಾರ್ವಜನಿಕ-ಪ್ರಾಕ್ಸಿ ಮಾರ್ಗದಲ್ಲಿ ಸಾರ್ವಜನಿಕ ವಿನಂತಿಗಳಿಗೆ, HTTP ಪ್ರಾಕ್ಸಿ ಪಟ್ಟಿ aiohttp ನ ಪ್ರಾಕ್ಸಿ URL‌ಗಳಿಗೆ ಅಭ್ಯರ್ಥಿಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ. ನಿಜವಾದ ಅಪ್ಲಿಕೇಶನ್ ತನ್ನದೇ ವಿನಂತಿ ಸಮಯ ಮಿತಿಯನ್ನು ಸಹ ಹೊಂದಿಸಬೇಕು ಮತ್ತು ಎಷ್ಟು ಪ್ರತಿಕ್ರಿಯೆ ಡೇಟಾ ಬೇಕು ಎಂದು ನಿರ್ಧರಿಸಬೇಕು. ದೊಡ್ಡ ಫೈಲ್ ಅನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಮೆಮೊರಿಗೆ ಓದುವುದು ಪ್ರತ್ಯೇಕ ಸಂಪನ್ಮೂಲ ನಿರ್ಧಾರ.

ದುಬಾರಿ ಭಾಗಕ್ಕೆ ಅನುಮತಿ ಇರಿಸಿಕೊಳ್ಳಿ

ಪ್ರತಿಕ್ರಿಯೆ ಹೆಡರ್‌ಗಳು ಬಂದ ತಕ್ಷಣ ಸೆಮಾಫೋರ್ ಬಿಡುಗಡೆ ಮಾಡುವುದು ಉದ್ದೇಶಿತ ಮಿತಿಯನ್ನು ವಿಫಲಗೊಳಿಸಬಹುದು. ಸ್ಟ್ರೀಮಿಂಗ್ ಬಾಡಿ ನಂತರ ದೀರ್ಘಕಾಲ ಸಂಪರ್ಕವನ್ನು ಬಳಸುವುದನ್ನು ಮುಂದುವರಿಸಬಹುದು. ಬಾಡಿ ಬಳಸಿ ಮುಗಿಯುವವರೆಗೆ ಅಥವಾ ಅಪ್ಲಿಕೇಶನ್‌ನ ಕಾರ್ಯಪ್ರವಾಹದ ಪ್ರಕಾರ ಪ್ರತಿಕ್ರಿಯೆ ಮುಚ್ಚುವವರೆಗೆ ಅನುಮತಿ ಇರಿಸಿಕೊಳ್ಳಿ.

ನೆಸ್ಟೆಡ್ ಸಂದರ್ಭ ನಿರ್ವಾಹಕರು ಅಪವಾದ ಅಥವಾ ರದ್ದತಿ ಕಾರ್ಯಾಚರಣೆಯನ್ನು ಬಿಟ್ಟಾಗ ಸ್ವಚ್ಛಗೊಳಿಸುವಿಕೆಯನ್ನು ಗೋಚರವಾಗಿಸುತ್ತವೆ. ಕೈಯಿಂದ ಪಡೆದು ಯಶಸ್ವಿ ಕಾರ್ಯದ ಕೆಳಭಾಗದಲ್ಲಿ ಮಾತ್ರ ಬಿಡುಗಡೆ ಮಾಡುವುದನ್ನು ತಪ್ಪಿಸಿ.

ಸಂಪರ್ಕ ಮಿತಿಗಳು ಬೇರೆ ಪ್ರಶ್ನೆಗೆ ಉತ್ತರಿಸುತ್ತವೆ

aiohttp ನ ಕನೆಕ್ಟರ್ ಮಿತಿಗಳು ಕನೆಕ್ಟರ್‌ನ ದಾಖಲಿತ ನಿಯಮಗಳ ಪ್ರಕಾರ ಸಂಪರ್ಕಗಳನ್ನು ಮಿತಿಗೊಳಿಸುತ್ತವೆ. ಅವು ಅಪ್ಲಿಕೇಶನ್ ಸೆಮಾಫೋರ್ ಜೊತೆಗೆ ಉಪಯುಕ್ತವಾಗಿ ಉಳಿಯುತ್ತವೆ. ಪ್ರತಿ-ಗಮ್ಯಸ್ಥಾನ ಸಂಪರ್ಕ ಮಿತಿಯು ಕೇವಲ ತನ್ನ ಹೆಸರಿನಿಂದ ಒಂದು ಪ್ರಾಕ್ಸಿಗೆ ನಿಗದಿಪಡಿಸಿದ ಎಲ್ಲಾ ಗಮ್ಯಸ್ಥಾನಗಳು ಹಂಚಿಕೊಳ್ಳುವ ಬಜೆಟ್ ಅನ್ನು ವ್ಯಕ್ತಪಡಿಸುವುದಿಲ್ಲ.

ಸಮವರ್ತಿಯನ್ನು ವಿನಂತಿ ದರದಿಂದಲೂ ಪ್ರತ್ಯೇಕಿಸಿ. ನಾಲ್ಕು ದೀರ್ಘಕಾಲಿಕ ವಿನಂತಿಗಳು ಮತ್ತು ನಾಲ್ಕು ಬಹಳ ಚಿಕ್ಕ ವಿನಂತಿಗಳು ಒಂದೇ ಸಮವರ್ತಿ ಭತ್ಯೆಯನ್ನು ಬಳಸುತ್ತವೆ ಆದರೆ ವಿಭಿನ್ನ ಪ್ರತಿ-ಸೆಕೆಂಡಿಗೆ-ವಿನಂತಿ ದರಗಳನ್ನು ಉತ್ಪಾದಿಸುತ್ತವೆ. ದರ ನೀತಿ ಹೊಂದಿರುವ ಸೇವೆಗೆ ವೇಗ ನಿಯಂತ್ರಣ ಅಥವಾ ಪ್ರತ್ಯೇಕ ದರ ಮಿತಿಗೊಳಿಸುವಿಕೆ ಬೇಕಾಗಬಹುದು.

ಲಾಗ್‌ಗಳು ಮತ್ತು ಮೆಟ್ರಿಕ್‌ಗಳಿಗೆ ಸ್ಥಿರವಾದ, ರಹಸ್ಯವಲ್ಲದ ಪ್ರಾಕ್ಸಿ ಗುರುತಿಸುವಿಕೆಯನ್ನು ಆಯ್ಕೆಮಾಡಿ. ಎರಡು ರುಜುವಾತು ಹೊಂದಿರುವ URL‌ಗಳು ಒಂದೇ ಸಾಮರ್ಥ್ಯ ಪೂಲ್ ಅನ್ನು ಉಲ್ಲೇಖಿಸಿದರೆ, ಅವು ಒಂದು ಬಜೆಟ್ ಹಂಚಿಕೊಳ್ಳಬೇಕೇ ಎಂದು ನಿರ್ಧರಿಸಿ. ಇದಕ್ಕೆ ವಿರುದ್ಧವಾಗಿ, ವಿಭಿನ್ನ ಪೋರ್ಟ್‌ಗಳು ಅಥವಾ ಖಾತೆಗಳು ಪ್ರತ್ಯೇಕ ಮಿತಿಗಳನ್ನು ಪ್ರತಿನಿಧಿಸಬಹುದು, ನಿರ್ವಾಹಕರು ಅವನ್ನು ಹಾಗೆ ದಾಖಲಿಸಿದಾಗ.

ಥ್ರೂಪುಟ್ ಇಳಿದಾಗ, ಕೆಲಸ ಎಲ್ಲಿ ಕಾಯುತ್ತಿದೆ ಎಂದು ಪರಿಶೀಲಿಸಿ: ನಿಮ್ಮ ಸೆಮಾಫೋರ್, ಕನೆಕ್ಟರ್, ಪ್ರಾಕ್ಸಿ ಸಂಪರ್ಕ ಸೆಟಪ್, ಅಥವಾ ಪ್ರತಿಕ್ರಿಯೆ ಓದುವಿಕೆ. ಎಲ್ಲಾ ಮಿತಿಗಳನ್ನು ಒಟ್ಟಿಗೆ ಹೆಚ್ಚಿಸುವುದು ಆ ವ್ಯತ್ಯಾಸವನ್ನು ಕಷ್ಟಕರಗೊಳಿಸುತ್ತದೆ ಮತ್ತು ಕ್ಯೂವನ್ನು ನೀವು ನಿಯಂತ್ರಿಸದ ಪ್ರಾಕ್ಸಿಗೆ ಸ್ಥಳಾಂತರಿಸಬಹುದು.