Scrapy AutoThrottle តាមរយៈប្រូកស៊ី៖ ស្លុត និងភាពយឺត

តាមលំនាំដើម Scrapy កំណត់ស្លុតទាញយកពីដែននៃ URL សំណើ។ ការផ្ដល់ប្រូកស៊ី HTTP ដល់សំណើមិនប្រែ URL នោះទៅជាឈ្មោះម៉ាស៊ីនប្រូកស៊ីទេ។ ដូច្នេះសំណើទៅគេហទំព័រផ្សេងគ្នាអាចរក្សាស្លុតផ្សេងគ្នាខណៈពេលចែករំលែកអន្តរការីតែមួយ។

AutoThrottle កែសម្រួលការពន្យារពេលរបស់ស្លុតនីមួយៗដោយប្រើភាពយឺតទាញយកដែលបានសង្កេត។ ដែនកំណត់សមកាលកម្មតាមដែនស្តង់ដារ និងការពន្យារពេលទាញយកអប្បបរមានៅតែអនុវត្ត។

ពិនិត្យការដាក់ជាក្រុមមុនពេលផ្លាស់ប្ដូរក្បួនដោះស្រាយ

មីដលវែរផ្ទាល់ខ្លួនអាចកំណត់ request.meta["download_slot"] ដោយជំនួសការជ្រើសរើសស្លុតធម្មតា។ ផ្នែកបន្ថែមប្រូកស៊ីមួយចំនួនប្រើការដាក់ជាក្រុមផ្ទាល់ខ្លួន។ ពិនិត្យការកំណត់ទាំងនោះ ប្រសិនបើគេហទំព័រដែលមិនពាក់ព័ន្ធហាក់ដូចជាចែករំលែកឧបករណ៍កំណត់តែមួយ។

ផ្ទុយទៅវិញ ការកំណត់ស្លុតផ្សេងគ្នាសម្រាប់ប្រូកស៊ីនីមួយៗអាចឱ្យប្រូកស៊ីច្រើនទាក់ទងគោលដៅតែមួយក្នុងពេលតែមួយ។ នេះអាចបំផ្លាញដែនកំណត់ទូទាំងគេហទំព័រដែលកម្មវិធីរាវរកត្រូវគោរព។ ជ្រើសគន្លឹះស្លុតតាមធនធានដែលកំពុងការពារ។

ការពន្យារពេលរួមបញ្ចូលផ្លូវដែលអ្នកបានប្រើ

Scrapy វាស់ភាពយឺតពីការផ្ញើសំណើដល់ការទទួលក្បាល HTTP។ សំណើដែលឆ្លងកាត់ប្រូកស៊ីអាចរួមបញ្ចូលការពន្យារពេលជួរ និងបញ្ជូនបន្តរបស់អន្តរការីក្នុងការសង្កេតនោះ។ AutoThrottle មិនទទួលបានពេលវេលាដំណើរការដាច់ដោយឡែកសម្រាប់ប្រភពតែមួយទេ។

ការបង្កើនសមកាលកម្មមិនអាចធ្វើឱ្យការវាស់នោះញែកគេហទំព័របានទេ។ រក្សាភាពគួរសមចំពោះគោលដៅ និងសមត្ថភាពប្រូកស៊ីជាដែនកំណត់ដាច់ដោយឡែក នៅពេលទាំងពីរសំខាន់។ ប្រូកស៊ីរួមអាចត្រូវការ ថវិកាសមកាលកម្មបន្ថែមលើស្លុតគោលដៅ ខណៈគោលដៅនីមួយៗរក្សាគោលនយោបាយអត្រារបស់ខ្លួន។