aria2 note

速度真的很快，比wget快很多。有空再來試試看XML-RPC那部份。

• --load-cookies 讀取cookie，可以直接把Firefox的cookies.sqlite丟進來使用。
• -U 設定user-agent
• -j 設定同時下載數目
• -i 輸入檔案，在設定URL的同時，還可以設定額外的參數。 詳細參照http://aria2.sourceforge.net/aria2c.1.html#_input_file
• -j 設定同時下載的數目
• -l logfile
• --log-level=LEVEL (debug, info, notice, warn or error. Default: debug)

As of 1.10.0 release, aria2 uses 1 connection per host by default and has 20MiB segment size restriction.
(1 connection/host, 20MiB segment)

aria2 是把巨鎚，我試著用1.10.9版，抓取1753個頁面的資料。
結果，在3分鐘內發送完所有的request, 並抓完約158MiB的資料量。每個頁面大小約80~100KiB。
比起wget這速度是快很多。光是1 connection就有這麼快的速度，如果再多幾個connection?
想想就蠻恐怖的。或許，在使用aria2抓取網頁的時候，要好好想想怎麼利用這工具，才不會變成黑名單吧>"<。

Reference:

• aria2 online manual
• aria2 usage example