Współbieżność proxy Scrapy w wielu domenach
Użyj globalnego limitu współbieżności pobierającego, gdy kilka domen docelowych zużywa ten sam limit proxy, a następnie uwzględnij inne crawlery dzielące to konto.
Jeśli każda lokalizacja docelowa używa jednego konta proxy, limit równoczesnych żądań tego konta może zostać zużyty we wszystkich tych lokalizacjach. Sam limit na domenę nie wyraża tego wspólnego budżetu.
Dla hipotetycznego konta pozwalającego na najwyżej 20 równoczesnych żądań zostaw trochę zapasu i ustaw globalny limit pobierającego w crawlerze:
CONCURRENT_REQUESTS = 16To przykładowy przydział, a nie zalecana wartość dla każdego dostawcy. Scrapy definiuje CONCURRENT_REQUESTS jako maksymalną liczbę równoczesnych żądań pobierającego. Kontrola na domenę może jeszcze obniżyć współbieżność; nie zastępuje jednak globalnego pułapu.
Uwzględnij w obliczeniach inne crawlery. Dwa niezależne crawlery, z których każdy może wysłać 16 żądań, mogą razem przekroczyć wspólny limit 20. Podziel budżet świadomie albo wymuś wspólny limit tam, gdzie te klienty się spotykają.
Ustal też, co liczy dostawca. Żądania HTTP, otwarte połączenia TCP, aktywne tunele i żądania na sekundę to różne wielkości. Trwałe połączenia i multipleksowanie mogą sprawić, że ich liczby będą się różnić. Dlatego ustawienie współbieżności żądań nie jest pełnym ograniczeniem połączeń ani tempa.
Zachowaj tempo witryny docelowej jako osobne ograniczenie. Niższa współbieżność lub opóźnienie pobierania mogą nadal być właściwe dla pojedynczej lokalizacji, nawet gdy konto proxy ma niewykorzystane możliwości.