RSS采集
相似算法
聚類
分類
(壹)原理
小偷程序實際上是通過了XML中的XMLHTTP組件調用其它網站上的網頁。比如新聞小偷程序,很多都是調用了sina的新聞網頁,並且對其中的html進行了壹些替換,同時對廣告也進行了過濾。用小偷程序的優點有:無須維護網站,因為小偷程序中的數據來自其他網站,它將隨著該網站的更新而更新;可以節省服務器資源,壹般小偷程序就幾個文件,所有網頁內容都是來自其他網站。缺點有:不穩定,如果目標網站出錯,程序也會出錯,而且,如果目標網站進行升級維護,那麽小偷程序也要進行相應修改;速度,因為是遠程調用,速度和在本地服務器上讀取數據比起來,肯定要慢壹些。
(二)事例
以下是代碼片段:
下面就XMLHTTP在ASP中的應用做個簡單說明
〈%
’常用函數
’1、輸入url目標網頁地址,返回值getHTTPPage是目標網頁的html代碼
function getHTTPPage(url)
dim Http
set Http=server.createobject("MSXML2.XMLHTTP")
Http.open "GET",url,false
Http.send()
if Http.readystate〈〉4 then
exit function
end if
getHTTPPage=bytesToBSTR(Http.responseBody,"GB2312")
set /earticle/的html內容
Dim Url,Html
Url="/earticle/"
Html = getHTTPPage(Url)
Response.write Html
%〉ASP小偷入門教程.....附QQ天氣小偷源代碼
要做壹名好的小偷有點難度:P,靈活運用XMLHTTP組件,妳也可以做“小偷”
這裏所說的“小偷”指的是在ASP中運用XML中的XMLHTTP組件提供的強大功能,把遠程網站上的數據(圖片,網頁及其他文件)抓取到本地,經過各種處理後顯示到頁面上或者存儲進數據庫的壹類程序。妳可以通過這種小偷程序,完成過去壹些似乎完全不可能實現的任務,比如說把某個站的頁面偷梁換柱後變成自己的頁面,或者把某個站的壹些數據(文章,圖片)保存到本地數據庫中加以利用。“小偷”的優點有:無須維護網站,因為小偷程序中的數據來自其他網站,它將隨著該網站的更新而更新;可以節省大量的服務器資源,壹般小偷程序就幾個文件,所有網頁內容都是來自其他網站。缺點在於:不穩定,如果目標網站出錯,程序也會出錯,而且,如果目標網站進行升級維護,那麽小偷程序也要進行相應修改;速度,因為是遠程調用,速度和在本地服務器上讀取數據比起來,肯定要慢壹些。怎麽樣,聽起來很神奇吧?我們現在就開始來學習壹些“小偷”程序的入門知識吧!
我們拿個簡單點的東西來研究壹下吧,QQ網站上的天氣預報程序
程序演示地址:/weather.asp
源碼下載:/weather.rar
代碼如下:
以下是代碼片段:
〈%
On Error Resume Next
Server.ScriptTimeOut=9999999
Function getHTTPPage(Path)
t = GetBody(Path)
getHTTPPage=BytesToBstr(t,"GB2312")
End function'首先,進行小偷程序的壹些初始化設置,以上代碼的作用分別是忽略掉所有非致命性錯誤,把小偷程序的運行超時時間設置得很長(這樣不會出現運行超時的錯誤),轉換原來默認的UTF-8編碼轉換成GB2312編碼,否則直接用XMLHTTP組件調用有中文字符的網頁得到的將是亂碼。
以下是代碼片段:
Function GetBody(url)
on error resume next
Set Retrieval = CreateObject("Microsoft.XMLHTTP")
With Retrieval
.Open "Get", url, False, "", ""
.Send
GetBody = .ResponseBody
End With
Set Retrieval = Nothing
End Function
’然後調用XMLHTTP組件創建壹個對象並進行初始化設置。
Function BytesToBstr(body,Cset)
dim objstream
set objstream = Server.CreateObject("adodb.stream")
objstream.Type = 1
objstream.Mode =3
objstream.Open
objstream.Write body
objstream.Position = 0
objstream.Type = 2
objstream.Charset = Cset
BytesToBstr = objstream.ReadText
objstream.Close
set objstream = nothing
End Function
Function Newstring(wstr,strng)
Newstring=Instr(lcase(wstr),lcase(strng))
if Newstring〈=0 then Newstring=Len(wstr)
End Function
’處理抓取回來的數據需要調用adodb.stream組件並進行初始化設置。%〉
’以下即為頁面顯示部分
〈%
Dim wstr,str,url,start,over,city
’定義壹些需要使用到的變量
city = Request.QueryString("id")
’程序傳回的ID變量(即用戶選擇的城市)賦給id
url="/cgi-bin/news_qq_search?city="&city&""
’這裏設置需要抓取的頁面地址,當然妳也可以直接指定某個地址而不使用變量
wstr=getHTTPPage(url) ' 以下是代碼片段:
獲取指定頁面的全部數據
start=Newstring(wstr," ")
’這裏設置需要處理的數據的頭部,這個變量應視不同情況而設置,具體內容可以通過查看需要抓取的頁面的源代碼來確定。因為在這個程序裏我們需要抓取整個頁面,所以設置為頁面全部抓取。註意,設置的內容必須是頁面內容唯壹的,不可以重復。
over=Newstring(wstr," ")
’和start相對應的就是需要處理的數據的尾部,同樣的,設置的內容必須是頁面中唯壹的。
body=mid(wstr,start,over-start)
’設置顯示頁面的範圍
’下面就是動用乾坤挪移大法的時候了,通過replace可以用壹些字符替換掉數據中指定的字符。
body = replace(body,"skin1","天氣預報")
body = replace(body,"/cgi-bin/news_qq_search?city","tianqi.asp?id")
’本程序中已經完成了替換的工作,如果有其他需要的話可以繼續進行類似的替換操作。
response.write body
%〉替換完需要修改的內容後,就可以把修改的內容顯示在頁面上了。至此程序結束
程序使用方法及結果:把上述代碼去掉說明部分後保存為tianqi.asp,上傳到支持ASP和XML的空間下,在瀏覽器中運行即可。妳可以在在這個程序的基礎上進行進壹步的界面美化或者程序優化。
以上只是壹些關於XMLHTTP組件的初級應用,實際上它還能實現的功能還有很多,比如說保存遠程圖片到本地服務器上,配合adodb.stream組件可以把獲取來的數據保存進數據庫。小偷的作用和使用範圍都很廣。但是不可以拿來做違法的事哦!
也許還有人要問了,這種“小偷”程序難道只是ASP的專利嗎?非也,PHP通過fopen函數壹樣可以實現同樣的效果,由於PHP本身的各種特點,寫出來的小偷程序和ASP相比,在體積和執行效率上都有著明顯的優勢,但限於篇幅,這裏就不壹壹說明了。