අවහිර කරන ප්‍රොක්සි-පූල් සෙවීම Scrapy නතර කළ හැක
Scrapy හි සිදුවීම්-ලූප මාර්ගයෙන් සමමුහුර්ත ප්‍රොක්සි-පූල් API ඇමතුම බැහැර තබා endpoint සොයාගැනීමට එහිම අසාර්ථකත්ව ප්‍රතිපත්තියක් දෙන්න.
ක්‍රෝලරයට ප්‍රමාණවත් සමගාමී ඉල්ලීම් වින්‍යාස කර ඇත. එසේ වුවද එය ප්‍රොක්සි පූලයෙන් තවත් ලිපිනයක් ඉල්ලන සෑම විටම නතර වේ. තවත් ප්‍රොක්සි එකතු කිරීම එම නතරවීමට බලපාන්නේ නැත.
සාමාන්‍ය මිඩ්ල්වෙයර් රටාවක් requests.get(pool_url) process_request() තුළ ඇමතුම් කරයි. මෙය Scrapy හි අසමමුහුර්ත එන්ජිම සමඟ සහයෝගයෙන් ක්‍රියා කළ යුතු මාර්ගයක සමමුහුර්ත ජාල මෙහෙයුමකි. ඇමතුම රැඳී සිටින අතර, එය එම සිදුවීම්-ලූප නූලෙහි අදාළ නොවන කටයුතු රඳවා තැබිය හැක.
කාර්යයේ ඉල්ලීම් දෙකක් ඇත
එක් ඉල්ලීමක් පූල් සේවාවෙන් endpoint එකක් ලබා ගනී. අනෙක එම endpoint භාවිතයෙන් ගමනාන්තය සම්බන්ධ කර ගනී. දෙකම වෙන් වෙන්ව මනින්න සහ වාර්තා කරන්න. මන්දගාමී පූල් API යෙදුම සම්බන්ධ වීමට පෙරම තෝරාගත් සෑම ප්‍රොක්සියක්ම මන්දගාමී ලෙස පෙනෙන්නට සලස්වයි.
ස්ථාපිත Scrapy අනුවාදය සහාය දෙන අසමමුහුර්ත සොයාගැනීම් ඒකාබද්ධ කිරීම භාවිතා කරන්න, නැතහොත් සෑම ඉල්ලීමකම තීරණාත්මක මාර්ගයෙන් පිටත සීමිත දේශීය endpoint කට්ටලයක් ලබාගෙන නැවුම් කරන්න. අවහිර කරන කටයුතු ඉවත් කළ යුතු නම්, එම ක්‍රියාත්මක කරන්නාට එහිම සීමා සහ කාල සීමා කළමනාකරණය දෙන්න; අසීමිත පෝලිම ප්‍රමාදයේ ස්ථානය පමණක් මාරු කරයි.
සෑම ඉල්ලීමකටම ස්වයංක්‍රීයව තවත් සොයාගැනීම් ඇමතුමක් නිකුත් නොකරන්න. කෙටි කාලීන කෑෂ් හෝ බදු දුන් කණ්ඩායමක් සේවාවේ සැබෑ endpoint ප්‍රතිපත්තියට ගැලපේ නම් පූල් සේවාව මත යැපීම අඩු කළ හැක.
අසාර්ථක සෙවීමේ අර්ථය නිර්වචනය කරන්න
හිස් හෝ අසාර්ථක පූල් ප්‍රතිචාරයක් ප්‍රොක්සි මෙටාදත්ත නිශ්ශබ්දව ඉවත් කර සෘජු ඉල්ලීමකට ඉඩ දිය යුතු නොවේ. පැහැදිලි ප්‍රතිඵලයක් තෝරන්න: කාර්ය අයවැය තුළ රැඳී සිටීම, අසාර්ථක වීම, හෝ අනුමත කෑෂ් කළ endpoint එකක් භාවිතා කිරීම.
පූල් API හි තමන්ගේම මාර්ගයද නිදහස්ව තබන්න. එය අභ්‍යන්තර සේවාවක් නම්, එහි පෞද්ගලික සත්කාරක නාමය එය තෝරාගැනීමට උපකාරී වන එම ප්‍රොක්සිය හරහා යැවීම චක්‍රීය යැපීමක් ඇති කළ හැක.
සොයාගැනීම අදාළ නොවන කටයුතු අවහිර නොකර ක්‍රියා කළ පසු සාමාන්‍ය ප්‍රොක්සි ගනුදෙනුව පරීක්ෂා කරන්න. ඒවා වෙනස් අලුත්වැඩියා වන අතර ඒවායේ කාලය ලොගයේ වෙනස් ක්ෂේත්‍ර ලැබීමට සුදුසුය.