Dvě stahování, dvě proxy, jeden příkaz curl

Pomocí hranic přenosu v curl přiřaďte samostatné proxy a výstupní soubory bez nejasné příkazové řádky.

Umístění dvou URL za jednu volbu --proxy odešle obě přes stejnou proxy. Pokud každý download potřebuje vlastní trasu, dejte curl hranici přenosu:

curl --proxy http://203.0.113.10:8080 \
  --output first.html https://example.com/ \
  --next \
  --proxy http://203.0.113.20:8080 \
  --output second.html https://example.org/

Obě adresy proxy jsou zástupné; vyberte HTTP koncové body ze své služby nebo ze seznamu HTTP proxy. Volba --next zahájí další přenos s novou sadou místních voleb. Druhou proxy uveďte výslovně. Volbu zadanou před hranicí bude možná nutné zopakovat za ní.

Jde o sekvenční příklad. Usnadňuje kontrolu vazby mezi cílem, výstupním souborem a proxy. curl podporuje i paralelní přenosy, ale paralelismus mění plánování; proxy pro každý URL nevybírá automaticky.

Pozor na textový soubor dvojic

Řádek obsahující proxy-address destination-url je formátem vaší aplikace. curl neodvozuje význam těchto sloupců z libovolného textu. Shellová smyčka, vygenerovaná konfigurace curl nebo jiný malý dispečer musí každý záznam převést na výslovné volby.

Zachovávejte argumenty jako argumenty. Sestavení příkazu zřetězením nedůvěryhodných URL může dovolit mezerám nebo shellovým znakům změnit jeho význam. Pro opakované úlohy se dokumentovaná syntaxe konfiguračního souboru curl kontroluje snáze než dlouhý ručně sestavený řetězec.

Zaznamenávejte samostatně výsledek každého přenosu. Úspěšné první stažení nic neříká o trase ani odpovědi druhého. Časové limity a zpracování chyb ponechte u přenosu, který je potřebuje, a při zdánlivém zmizení nastavení zkontrolujte hranici.

Související články