ප්‍රොක්සි හරහා Scrapy AutoThrottle: ස්ලොට් සහ ප්‍රමාදය
ඉලක්ක අඩවියේ බාගැනීම් ස්ලොට් ප්‍රොක්සි මාර්ගවලින් වෙන් කර තබා, ප්‍රමාදය නිරීක්ෂිත ඉල්ලීම් මාර්ගය ලෙස අර්ථ දක්වන්න.
පෙරනිමියෙන් Scrapy බාගැනීම් ස්ලොට් ඉල්ලීම් URL හි වසමෙන් වෙන් කරයි. ඉල්ලීමකට HTTP ප්‍රොක්සියක් දීමෙන් එම URL ප්‍රොක්සියේ සත්කාරක නාමය බවට නොවෙනස් වේ. එබැවින් විවිධ අඩවිවලට යන ඉල්ලීම් එක් අතරමැදියෙකු බෙදා ගනිමින් වෙනස් ස්ලොට් රඳවා ගත හැක.
AutoThrottle නිරීක්ෂිත බාගැනීම් ප්‍රමාදය භාවිතයෙන් එක් එක් ස්ලොටයේ ප්‍රමාදය සකසයි. සම්මත වසම්-ප්‍රති සමාන්තර සීමාව සහ අවම බාගැනීම් ප්‍රමාදය තවමත් බලපායි.
ඇල්ගොරිතම වෙනස් කිරීමට පෙර සමූහගත කිරීම පරීක්ෂා කරන්න
අභිරුචි මිඩ්ල්වෙයර් එකකට request.meta["download_slot"] පැවරිය හැකි අතර එය සාමාන්‍ය ස්ලොට් තේරීම අභිබවා යයි. සමහර ප්‍රොක්සි දිගුවන් තමන්ගේම සමූහගත කිරීම භාවිත කරයි. සම්බන්ධ නොවන අඩවි එක් සීමාකරණයක් බෙදා ගන්නා බව පෙනේ නම් එම සැකසුම් පරීක්ෂා කරන්න.
ඊට ප්‍රතිවිරුද්ධව, එක් එක් ප්‍රොක්සියට වෙනස් ස්ලොටයක් පැවරීමෙන් ප්‍රොක්සි කිහිපයකට එකම ඉලක්කය එකවර සම්බන්ධ කර ගත හැක. එය ක්‍රෝලරය ගරු කළ යුතු වූ අඩවි-පුරා සීමාව බිඳ හැක. ආරක්ෂිත සම්පත අනුව ස්ලොට් යතුර තෝරන්න.
ප්‍රමාදයට ඔබ භාවිත කළ මාර්ගය ඇතුළත් වේ
Scrapy ඉල්ලීම යැවීමේ සිට HTTP ශීර්ෂ ලැබෙන තෙක් ප්‍රමාදය මනිනු ලබයි. ප්‍රොක්සියක් හරහා ගෙන යන ඉල්ලීමක් එම නිරීක්ෂණයට අතරමැදියාගේ පෝලිම් සහ යළි යැවීමේ ප්‍රමාදය ඇතුළත් කළ හැක. AutoThrottle මූලාශ්‍රයට පමණක් වන වෙනම සැකසුම් කාලයක් ලබා නොගනී.
සමාන්තරතාව වැඩි කිරීමෙන් එම මිනුම අඩවිය හුදෙකලා කරන්නට නොහැක. දෙකම වැදගත් වන විට ඉලක්කයට ඇති අවනතභාවය සහ ප්‍රොක්සි ධාරිතාව වෙන වෙනම සීමා ලෙස තබන්න. හවුල් ප්‍රොක්සියකට ඉලක්ක ස්ලොට් හරහා අමතර සමාන්තර අයවැයක් අවශ්‍ය විය හැකි අතර, සෑම ඉලක්කයක්ම තමන්ගේම වේග ප්‍රතිපත්තිය රඳවා ගනී.