Dwa pobrania, dwa proxy, jedno polecenie curl

Użyj granic transferu curl, aby przypisać osobne proxy i pliki wyjściowe do pobrań.

Umieszczenie dwóch URL-i po jednej opcji --proxy wysyła oba przez to samo proxy. Gdy każde pobranie potrzebuje własnej trasy, nadaj curl granicę transferu.

curl --proxy http://203.0.113.10:8080 \
  --output first.html https://example.com/ \
  --next \
  --proxy http://203.0.113.20:8080 \
  --output second.html https://example.org/

Oba adresy proxy są wartościami przykładowymi; wybierz punkty HTTP z własnej usługi lub listy proxy HTTP. Opcja --next rozpoczyna kolejny transfer z nowymi opcjami lokalnymi. Wskaż drugie proxy jawnie. Opcję podaną przed granicą może trzeba będzie podać ponownie.

To przykład sekwencyjny, który ułatwia sprawdzenie powiązania celu, pliku wyjściowego i proxy. Transfery równoległe zmieniają harmonogram; nie wybierają automatycznie proxy dla każdego URL-a.

Uważaj na tekstowy plik par

Wiersz zawierający proxy-address destination-url to format aplikacji. curl nie wywnioskuje znaczenia kolumn z dowolnego tekstu. Pętla powłoki lub dispatcher musi zmienić każdy rekord w jawne opcje.

Traktuj argumenty jak argumenty. Sklejanie niezaufanych URL-i może pozwolić spacjom lub znakom powłoki zmienić znaczenie polecenia. Udokumentowana składnia pliku konfiguracyjnego curl jest łatwiejsza do sprawdzenia.

Zapisuj wynik każdego transferu osobno, a limity czasu i obsługę błędów przypisz do transferu, który ich potrzebuje.

Powiązane artykuły