සෑම aiohttp ප්‍රොක්සි එකකට එහිම සමගාමී අයවැයක් දෙන්න

ප්‍රොක්සි තටාකයක ඉතා වෙනස් ධාරිතාවක් ඇති අන්ත ලක්ෂ්‍ය තිබිය හැක. සමස්ත යෙදුම තුළ පනහක මෙහෙයුම්වලට ඉඩ දීම එයින් හතළිස් නවයක් එකම ප්‍රොක්සිය තෝරා ගැනීම වළක්වන්නේ නැත.

ප්‍රතිපත්තිය “සෑම තෝරාගත් ප්‍රොක්සියක් හරහා උපරිම වශයෙන් ක්‍රියාත්මක වන මෙහෙයුම් හතරක්” නම්, එම ප්‍රතිපත්තිය සෘජුවම ප්‍රකාශ කරන්න. සෑම ප්‍රොක්සි අනන්‍යතාවකටම සෙමෆෝරයක් තබා ගන්න, සහ ප්‍රොක්සියේ ධාරිතාව පරිභෝජනය කරන වැඩ වටා එය ලබා ගන්න.

limits = {proxy: asyncio.Semaphore(4) for proxy in proxy_urls}

async def fetch(session, proxy, url):
    async with limits[proxy]:
        async with session.get(url, proxy=proxy) as response:
            return await response.read()

මෙම සටහන උපකල්පනය කරන්නේ asyncio ආයාත කර ඇති බවත් ප්‍රොක්සි URL වලංගු කර ඇති බවත්ය. අවසර ලත් පොදු-ප්‍රොක්සි මාර්ගයේ පොදු ඉල්ලීම් සඳහා, HTTP ප්‍රොක්සි ලැයිස්තුව aiohttp හි ප්‍රොක්සි URL සඳහා අපේක්ෂකයින් සපයයි. සැබෑ යෙදුමක් තමන්ගේම ඉල්ලීම් කාල සීමාව සකසා, කොපමණ ප්‍රතිචාර දත්ත අවශ්‍යද යන්න තීරණය කළ යුතුය. විශාල ගොනුවක් සම්පූර්ණයෙන්ම මතකයට කියවීම වෙනම සම්පත් තීරණයකි.

මිල අධික කොටස සඳහා අවසරය තබා ගන්න

ප්‍රතිචාර ශීර්ෂ පැමිණි වහාම සෙමෆෝරය මුදා හැරීම අපේක්ෂිත සීමාව අසාර්ථක කළ හැක. ධාරා ගත වන පඬුර ඊට පසුව දිගු කලක් සම්බන්ධතාව භාවිත කරමින් සිටිය හැක. පඬුර පරිභෝජනය වන තෙක් හෝ යෙදුමේ කාර්ය ප්‍රවාහය අනුව ප්‍රතිචාරය වසා දමන තෙක් අවසරය තබා ගන්න.

කැදැලි සන්දර්භ කළමනාකරුවන් විසින් ව්‍යතිරේකයක් හෝ අවලංගු කිරීමක් මෙහෙයුම හැර යන විට පිරිසිදු කිරීම දෘශ්‍යමාන කරයි. අතින් ලබා ගැනීම සහ සාර්ථක ශ්‍රිතයක පහළම කොටසේදී පමණක් මුදා හැරීමෙන් වළකින්න.

සම්බන්ධතා සීමා වෙනත් ප්‍රශ්නයකට පිළිතුරු දෙයි

aiohttp හි සම්බන්ධක සීමා සම්බන්ධකයේ ලේඛනගත නීති අනුව සම්බන්ධතා සීමා කරයි. ඒවා යෙදුම් සෙමෆෝරය සමඟ ප්‍රයෝජනවත්ව පවතී. ගමනාන්තයකට සම්බන්ධතා සීමාව එක් ප්‍රොක්සියකට පවරන ලද සියලුම ගමනාන්ත බෙදා ගන්නා අයවැයක් එහි නමින් පමණක් ප්‍රකාශ නොකරයි.

සමගාමිත්වය ඉල්ලීම් අනුපාතයෙන්ද වෙන් කරන්න. දිගු කාලීන ඉල්ලීම් හතරක් සහ ඉතා කෙටි ඉල්ලීම් හතරක් එකම සමගාමී වාරිකය භාවිත කරන අතර වෙනස් තත්පරයට ඉල්ලීම් අනුපාත නිපදවයි. අනුපාත ප්‍රතිපත්තියක් සහිත සේවාවකට ගමන් වේගය හෝ වෙනම අනුපාත සීමකයක් අවශ්‍ය විය හැක.

ලොග් සහ මිනුම් සඳහා ස්ථාවර, රහස්‍ය නොවන ප්‍රොක්සි හඳුනාගැනීමක් තෝරන්න. ප්‍රතිපත්ති ගත URL දෙකක් එකම ධාරිතා තටාකයට යොමු වන්නේ නම්, ඒවා එකම අයවැයක් බෙදා ගත යුතුද යන්න තීරණය කරන්න. ඊට වෙනස්ව, විවිධ තොටුපළ හෝ ගිණුම් වෙනම සීමා නියෝජනය කළ හැක්කේ ක්‍රියාකරු ඒවා එසේ ලේඛනගත කරන විටය.

ප්‍රවාහය පහත වැටෙන විට, වැඩ රැඳී ඇත්තේ කොහේදැයි පරීක්ෂා කරන්න: ඔබේ සෙමෆෝරය, සම්බන්ධකය, ප්‍රොක්සි සම්බන්ධතාව සැකසීම, හෝ ප්‍රතිචාර කියවීම. සියලු සීමා එකවර ඉහළ නැංවීම එම වෙනස හඳුනා ගැනීම අපහසු කරන අතර පෝලිම ඔබ පාලනය නොකරන ප්‍රොක්සියකට ගෙන යා හැක.