බහු වසම් හරහා Scrapy ප්‍රොක්සි සමගාමීත්වය
වසම් කිහිපයක් එකම ප්‍රොක්සි කෝටාව භාවිතා කරන විට බාගැනීම්කරුගේ ගෝලීය සමගාමී සීමාව භාවිතා කරන්න, පසුව එම ගිණුම බෙදාගන්නා අනෙකුත් ක්‍රෝලර් ද ගණන් කරන්න.
සෑම ගමනාන්තයක්ම එකම ප්‍රොක්සි ගිණුමක් භාවිතා කරන්නේ නම්, එම ගිණුමේ සමගාමී ඉල්ලීම් අවසරය එම ගමනාන්ත සියල්ල පුරා වියදම් විය හැක. එක් වසමකට පමණක් වන සීමාව එම හවුල් අයවැය ප්‍රකාශ නොකරයි.
උපරිම සමගාමී ඉල්ලීම් 20ක් අනුමත කරන උපකල්පිත ගිණුමක් සඳහා යම් ඉඩක් ඉතිරි කර ක්‍රෝලරයේ ගෝලීය බාගැනීම්කරු සීමාව සකසන්න:
CONCURRENT_REQUESTS = 16මෙය නිදර්ශනාත්මක වෙන් කිරීමකි, සෑම සපයන්නෙකුටම නිර්දේශිත අගයක් නොවේ. Scrapy, CONCURRENT_REQUESTS යනු බාගැනීම්කරුගේ උපරිම සමගාමී ඉල්ලීම් ගණන ලෙස අර්ථ දක්වයි. වසම් අනුව පාලනය සමගාමීත්වය තවත් අඩු කළ හැක; ඒවා ගෝලීය ඉහළ සීමාව වෙනුවට නොපවතී.
අනෙකුත් ක්‍රෝලර් ද ගණනයට ඇතුළත් කරන්න. එක් එක් ක්‍රෝලරයට ඉල්ලීම් 16ක් අවසර දී ඇති ස්වාධීන ක්‍රෝලර් දෙකකට එක්ව 20ක හවුල් අවසරය ඉක්මවා යා හැක. අයවැය හිතාමතා බෙදන්න, නැතහොත් එම සේවාදායකයන් හමුවන තැන හවුල් සීමාවක් බලාත්මක කරන්න.
සපයන්නා ගණන් කරන්නේ කුමක්ද යන්න ද තීරණය කරන්න. HTTP ඉල්ලීම්, විවෘත TCP සම්බන්ධතා, සක්‍රීය උමං සහ තත්පරයට ඉල්ලීම් විවිධ ප්‍රමාණ වේ. නිරන්තර සම්බන්ධතා සහ බහුවිධකරණය ඒවායේ ගණන් වෙනස් කළ හැක. එබැවින් ඉල්ලීම්-සමගාමීත්ව සැකසුම සම්පූර්ණ සම්බන්ධතා හෝ වේග සීමාකාරකයක් නොවේ.
ඉලක්ක අඩවියේ ගමන් වේගය වෙනම බාධාවක් ලෙස තබා ගන්න. ප්‍රොක්සි ගිණුමේ භාවිත නොකළ ධාරිතාව තිබුණත් තනි ගමනාන්තයකට අඩු සමගාමීත්වයක් හෝ බාගැනීම් ප්‍රමාදයක් සුදුසු විය හැක.