ភាពស្របគ្នានៃប្រូកស៊ី Scrapy លើដែនជាច្រើន

បើគោលដៅនីមួយៗប្រើគណនីប្រូកស៊ីតែមួយ នោះការអនុញ្ញាតសំណើស្របគ្នារបស់គណនីនោះអាចត្រូវចំណាយលើគោលដៅទាំងអស់នោះ។ ដែនកំណត់តាមដែនតែមួយមិនបញ្ជាក់ថវិការួមនោះទេ។

សម្រាប់គណនីសន្មតដែលអនុញ្ញាតយ៉ាងច្រើន 20 សំណើស្របគ្នា សូមទុកចន្លោះខ្លះ ហើយកំណត់ដែនកំណត់កម្មវិធីទាញយកសកលរបស់ crawler:

CONCURRENT_REQUESTS = 16

នេះជាការបែងចែកជាឧទាហរណ៍ មិនមែនជាតម្លៃដែលណែនាំសម្រាប់អ្នកផ្តល់សេវាគ្រប់រូបទេ។ Scrapy កំណត់ CONCURRENT_REQUESTS ជាចំនួនអតិបរមានៃសំណើស្របគ្នារបស់កម្មវិធីទាញយក។ ការត្រួតពិនិត្យតាមដែនអាចបន្ថយភាពស្របគ្នាបន្ថែម; ពួកវាមិនជំនួសដែនកំណត់កំពូលសកលទេ។

រាប់បញ្ចូល crawler ផ្សេងទៀតក្នុងការគណនា។ crawler ឯករាជ្យពីរ ដែលនីមួយៗមានការអនុញ្ញាត 16 សំណើ អាចរួមគ្នាលើសពីការអនុញ្ញាតរួម 20។ បែងចែកថវិកាដោយចេតនា ឬអនុវត្តដែនកំណត់រួមនៅកន្លែងដែលអតិថិជនទាំងនោះជួបគ្នា។

ក៏ត្រូវកំណត់ថាតើអ្នកផ្តល់សេវារាប់អ្វី។ សំណើ HTTP ការតភ្ជាប់ TCP ដែលបើក ផ្លូវរូងក្រោមដីសកម្ម និងសំណើក្នុងមួយវិនាទី គឺជាបរិមាណខុសៗគ្នា។ ការតភ្ជាប់បន្ត និង multiplexing អាចធ្វើឱ្យចំនួនរបស់ពួកវាខុសគ្នា។ ដូច្នេះ ការកំណត់ភាពស្របគ្នានៃសំណើមិនមែនជាឧបករណ៍កំណត់ការតភ្ជាប់ ឬអត្រាពេញលេញទេ។

រក្សាចង្វាក់គេហទំព័រគោលដៅ ជាការរឹតបន្តឹងដោយឡែក។ ភាពស្របគ្នាទាប ឬការពន្យារការទាញយក អាចនៅតែសមស្របសម្រាប់គោលដៅមួយ ទោះបីគណនីប្រូកស៊ីមានសមត្ថភាពមិនប្រើក៏ដោយ។