Wget可以追蹤HTML頁面上的鏈接並依次下載,創建遠程服務器的本地版本,完全重建原站點的目錄結構。這通常被稱為“遞歸下載”。遞歸下載時,wget遵循機器人排除標準(/robots.txt)。wget可以在下載的同時將鏈接轉換成本地文件,方便離線瀏覽。
Wget非常穩定,在帶寬窄、網絡不穩定的情況下適應性很強。如果由於網絡原因下載失敗,wget會壹直嘗試,直到下載完整個文件。如果服務器中斷下載過程,它將再次連接到服務器,並從停止的地方繼續下載。這對於從鏈接時間有限的服務器下載大文件非常有用。
1.命令格式:
wget[參數] [URL地址]
2.命令功能:
用於從網絡下載資源,不指定目錄,下載的資源默認為當前目錄。雖然wget功能強大,但使用起來相對簡單:
1)支持斷點下載功能;這也是那些年netants和FlashGet最大的賣點。現在Wget也可以用這個功能了,那些網絡不是很好的用戶可以放心;
2)支持FTP和HTTP兩種下載模式;雖然現在大部分軟件都可以通過HTTP下載,但是有時候還是需要通過FTP下載軟件。
3)支持代理服務器;對於安全強度高的系統,其系統壹般不會直接暴露在互聯網上,所以支持代理是下載軟件的必備功能。
4)設置方便簡單;或許,習慣圖形界面的用戶不習慣命令行,但命令行其實在設置上更有優勢,至少,鼠標可以少點很多次,不用擔心鼠標是不是點錯了;
5)程序小,完全免費;小程序可以考慮,因為目前硬盤太大;我們必須考慮完全自由。即使網上有很多所謂的免費軟件,但這些軟件的廣告並不是我們喜歡的。
3.命令參數:
啟動參數:
-V,-version顯示wget的版本並退出。
-h,help打印語法幫助
-b,-後臺啟動後,會轉移到後臺執行。
-e,-execute=COMMAND執行`中的命令。“wgetrc”格式。有關wgetrc格式,請參見/etc/wgetrc或~/.wgetrc。
記錄並輸入文件參數:
-o,-output-FILE=FILE將記錄寫入文件。
-a,-append-output=FILE將記錄追加到文件中。
-d,-debug打印調試輸出
-q,-quiet安靜模式(無輸出)
-v,-詳細模式(這是默認設置)
-nv,-non-verbose關閉詳細模式,但不關閉安靜模式。
-i,-input-FILE=FILE下載文件FILE中出現的URL。
-F,-force-html將輸入文件視為html文件。
-B,-base=URL將URL作為相對鏈接的前綴,該鏈接出現在由-F -i參數指定的文件中。
–-sslcertfile = FILE可選客戶端證書
–-sslcertkey =可選客戶端證書的密鑰文件密鑰文件。
–egd-file = file指定EGD套接字的文件名。
下載參數:
–bind-bind-ADDRESS = ADDRESS指定本地地址(主機名或IP,在本地有多個IP或名稱時使用)。
-t,-tries=NUMBER設置鏈接嘗試的最大次數(0表示無限制)。
-O –- O-output-document = FILE將文檔寫入文件。
-nc,-no-clobber不要覆蓋現有文件或使用。#前綴。
-c,-繼續然後下載未完成的文件。
–progress =設置進度條標誌。
-N,-timestamp除非文件比本地文件新,否則不要再次下載文件。
-s,–server-response打印服務器的響應。
-蜘蛛不下載任何東西。
-T,-timeout=SECONDS設置響應超時的秒數。
-w,-wait=SECONDS兩次嘗試之間的間隔是秒。
–-Wait retry =重新鏈接之間等待的秒數1…秒。
–-random-WAIT在兩次下載之間等待0…2 *秒。
-Y,-proxy=on/off打開或關閉代理。
-Q,-quota=NUMBER設置下載容量限制。
–-limit-RATE = RATE = RATE限制下載速率。
目錄參數:
-nd-no-directory不創建目錄。
-x,-force-directory強制創建目錄。
-nH,-no-host-directory不會創建主機目錄。
-P,-directory-prefix=PREFIX將文件保存到目錄前綴/…
–cut-cut-dirs = NUMBER忽略圖層#的遠程目錄。
HTTP選項參數:
–/WordPress-3.1-zh _ cn . zip
描述:
下面的例子是從網絡上下載壹個文件並保存在當前目錄下。在下載過程中,會顯示壹個進度條,包括(下載完成百分比、下載字節、當前下載速度和剩余下載時間)。
例2:用wget -O下載,用不同的文件名保存。
命令:
:wget-O WordPress . zip/download . aspx?id=1080
描述:
默認情況下,wget將使用最後壹個匹配“/”的字符執行命令,對於下載動態鏈接,文件名通常是不正確的。
錯誤:以下示例將下載壹個名為download.aspx?Id=1080保存。
wget/下載?id=1
即使下載的文件是zip格式,它仍然在downloaded?Id=1080命令。
正確:為了解決這個問題,我們可以使用參數-O來指定壹個文件名:
wget-O WordPress . zip/download . aspx?id=1080
示例3:使用wget -limit -rate進行限速下載
命令:
wget-limit-rate = 300k/WordPress-3.1-zh _ cn . zip
描述:
當妳執行wget時,默認情況下會占用所有可能的寬帶下載。但是當妳準備下載壹個大文件,需要下載其他文件的時候,就有必要加快速度了。
示例4:使用wget -c斷點繼續傳輸
命令:
wget-c/WordPress-3.1-zh _ cn . zip
描述:
使用wget -c重啟下載中斷的文件,對於我們下載因網絡等原因突然中斷的大文件非常有幫助。我們可以繼續下載,而不是再次下載壹個文件。當您需要繼續中斷的下載時,可以使用-c參數。
示例5:使用wget -b進行後臺下載
命令:
wget-b/WordPress-3.1-zh _ cn . zip
描述:
對於下載非常大的文件,我們可以使用參數-b進行後臺下載。
wget-b/WordPress-3.1-zh _ cn . zip
後臺繼續,pid 1840。
輸出將被寫入“wget-log”。
您可以使用以下命令來檢查下載進度:
tail -f wget-log
示例6:偽裝的代理名稱下載
命令:
wget-user-agent = " Mozilla/5.0(Windows;u;windows NT 6.1;en-US)apple WebKit/534.16(KHTML,像壁虎壹樣)Chrome/10 . 0 . 648 . 204 Safari/534.16 "/WordPress-3.1-zh _ cn . zip
描述:
有些網站可以通過判斷代理名稱不是瀏覽器來拒絕妳的下載請求。但是,您可以通過–- user-agent參數偽裝它。
示例7:使用wget -spider測試下載鏈接
命令:
wget - spider URL
描述:
當您計劃定期下載時,您應該在預定時間測試下載鏈接是否有效。我們可以添加–- spider參數進行檢查。
wget - spider URL
如果下載鏈接正確,就會顯示出來。
wget - spider URL
啟用蜘蛛模式。檢查遠程文件是否存在。
HTTP請求已發送,正在等待響應...200好吧
長度:未指定[文本/html]
遠程文件存在並且可能包含進壹步的鏈接,
但是遞歸是禁用的——不檢索。
這保證了下載可以在預定的時間完成,但是當妳給出壹個錯誤的鏈接時,會顯示下面的錯誤。
wget - spider url
啟用蜘蛛模式。檢查遠程文件是否存在。
HTTP請求已發送,正在等待響應...404未找到
遠程文件不存在-鏈接斷開!!!
您可以在下列情況下使用spider參數:
計劃下載前檢查。
每隔壹段時間檢查壹下網站是否可用。
檢查網站頁面上的死鏈接。
示例8:使用wget-嘗試增加重試次數
命令:
wget - tries=40 URL
描述:
如果網絡有問題,或者下載大文件也可能失敗。默認情況下,Wget會重試20次來下載文件。如有必要,您可以使用–-嘗試增加重試次數。
示例9:使用wget -i下載多個文件
命令:
wget -i文件列表. txt
描述:
首先,保存壹個下載鏈接文件。
cat & gtfilelist.txt
url1
url2
url3
url4
然後使用這個文件和參數-i來下載。
示例10:使用wget -mirror鏡像網站。
命令:
wget-mirror-P-convert-links-P ./本地URL
描述:
將整個網站下載到本地。
––鏡像:開戶鏡像下載
-p:下載html頁面正常顯示的所有文件。
–-轉換-鏈接:下載後,轉換成本地鏈接。
-P ./LOCAL:將所有文件和目錄保存到本地指定目錄。
示例11:使用wget -reject過濾指定格式的下載。
命令:
wget - reject=gif ur
描述:
下載壹個網站,但是不想下載圖片,可以使用下面這個命令。
示例12:使用wget -o將下載信息存儲在日誌文件中。
命令:
wget -o download.log URL
描述:
不想下載的信息直接顯示在終端而是在日誌文件中,妳可以使用它。
示例13:使用wget -Q來限制下載文件的總大小。
命令:
wget -Q5m -i文件列表. txt
描述:
當您想下載超過5M的文件並退出下載時,可以使用。註意:該參數不適用於單個文件下載,僅在遞歸下載時有效。
示例14:使用wget -r -A A下載指定格式的文件。
命令:
wget -r -A.pdf url
描述:
您可以在以下情況下使用此功能:
下載壹個網站的所有圖片。
下載壹個網站的所有視頻。
下載壹個網站的所有PDF文件。
示例15:使用wget FTP下載
命令:
wget ftp-url
wget-FTP-user =用戶名-FTP-PASSWORD =密碼url
描述:
可以使用wget下載ftp鏈接。
使用wget匿名ftp下載:
wget ftp-url
使用wget用戶名和密碼驗證的Ftp下載
wget-FTP-user =用戶名-FTP-PASSWORD =密碼url
備註:編譯和安裝
使用以下命令編譯和安裝:
# tar zxvf wget-1 . 9 . 1 . tar . gz
# cd wget-1.9.1
# ./配置
#制造
#進行安裝