正文

文章采集源碼（文章采集源碼怎么弄）

發(fā)布時(shí)間：2023-05-23 11:55:57 稿源：創(chuàng)意嶺閱讀： 104

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于文章采集源碼的問題，以下是小編對(duì)此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，有小程序、在線網(wǎng)頁版、PC客戶端和批量生成器

問友Ai官網(wǎng)：https://ai.de1919.com。

本文目錄:

高分！求高手網(wǎng)站信息采集源代碼或編程思路
什么是帶采集的網(wǎng)站源碼

文章采集源碼（文章采集源碼怎么弄）

高分！求高手網(wǎng)站信息采集源代碼或編程思路

思路：
RSS采集
相似算法
聚類
分類
（一）原理
小偷程序?qū)嶋H上是通過了XML中的XMLHTTP組件調(diào)用其它網(wǎng)站上的網(wǎng)頁。比如新聞小偷程序，很多都是調(diào)用了sina的新聞網(wǎng)頁，并且對(duì)其中的html進(jìn)行了一些替換，同時(shí)對(duì)廣告也進(jìn)行了過濾。用小偷程序的優(yōu)點(diǎn)有：無須維護(hù)網(wǎng)站，因?yàn)樾⊥党绦蛑械臄?shù)據(jù)來自其他網(wǎng)站，它將隨著該網(wǎng)站的更新而更新；可以節(jié)省服務(wù)器資源，一般小偷程序就幾個(gè)文件，所有網(wǎng)頁內(nèi)容都是來自其他網(wǎng)站。缺點(diǎn)有：不穩(wěn)定，如果目標(biāo)網(wǎng)站出錯(cuò)，程序也會(huì)出錯(cuò)，而且，如果目標(biāo)網(wǎng)站進(jìn)行升級(jí)維護(hù)，那么小偷程序也要進(jìn)行相應(yīng)修改；速度，因?yàn)槭沁h(yuǎn)程調(diào)用，速度和在本地服務(wù)器上讀取數(shù)據(jù)比起來，肯定要慢一些。
（二）事例
以下是代碼片段：
下面就XMLHTTP在ASP中的應(yīng)用做個(gè)簡單說明
〈%
’常用函數(shù)
’1、輸入url目標(biāo)網(wǎng)頁地址，返回值getHTTPPage是目標(biāo)網(wǎng)頁的html代碼
function getHTTPPage(url)
dim Http
set Http=server.createobject("MSXML2.XMLHTTP")
Http.open "GET",url,false
Http.send()
if Http.readystate〈〉4 then
exit function
end if
getHTTPPage=bytesToBSTR(Http.responseBody,"GB2312")
set http=nothing
if err.number〈〉0 then err.Clear
end function
’2、轉(zhuǎn)換亂瑪，直接用xmlhttp調(diào)用有中文字符的網(wǎng)頁得到的將是亂瑪，可以通過adodb.stream組件進(jìn)行轉(zhuǎn)換
Function BytesToBstr(body,Cset)
dim objstream
set objstream = Server.CreateObject("adodb.stream")
objstream.Type = 1
objstream.Mode =3
objstream.Open
objstream.Write body
objstream.Position = 0
objstream.Type = 2
objstream.Charset = Cset
BytesToBstr = objstream.ReadText
objstream.Close
set objstream = nothing
End Function
’下面試著調(diào)用http://www.3doing.com/earticle/的html內(nèi)容
Dim Url,Html
Url="http://www.3doing.com/earticle/"
Html = getHTTPPage(Url)
Response.write Html
%〉A(chǔ)SP小偷入門教程.....附QQ天氣小偷源代碼
要做一名好的小偷有點(diǎn)難度:P，靈活運(yùn)用XMLHTTP組件，你也可以做“小偷”
這里所說的“小偷”指的是在ASP中運(yùn)用XML中的XMLHTTP組件提供的強(qiáng)大功能，把遠(yuǎn)程網(wǎng)站上的數(shù)據(jù)（圖片，網(wǎng)頁及其他文件）抓取到本地，經(jīng)過各種處理后顯示到頁面上或者存儲(chǔ)進(jìn)數(shù)據(jù)庫的一類程序。你可以通過這種小偷程序，完成過去一些似乎完全不可能實(shí)現(xiàn)的任務(wù)，比如說把某個(gè)站的頁面偷梁換柱后變成自己的頁面，或者把某個(gè)站的一些數(shù)據(jù)（文章，圖片）保存到本地?cái)?shù)據(jù)庫中加以利用。“小偷”的優(yōu)點(diǎn)有：無須維護(hù)網(wǎng)站，因?yàn)樾⊥党绦蛑械臄?shù)據(jù)來自其他網(wǎng)站，它將隨著該網(wǎng)站的更新而更新；可以節(jié)省大量的服務(wù)器資源，一般小偷程序就幾個(gè)文件，所有網(wǎng)頁內(nèi)容都是來自其他網(wǎng)站。缺點(diǎn)在于：不穩(wěn)定，如果目標(biāo)網(wǎng)站出錯(cuò)，程序也會(huì)出錯(cuò)，而且，如果目標(biāo)網(wǎng)站進(jìn)行升級(jí)維護(hù)，那么小偷程序也要進(jìn)行相應(yīng)修改；速度，因?yàn)槭沁h(yuǎn)程調(diào)用，速度和在本地服務(wù)器上讀取數(shù)據(jù)比起來，肯定要慢一些。怎么樣，聽起來很神奇吧？我們現(xiàn)在就開始來學(xué)習(xí)一些“小偷”程序的入門知識(shí)吧！
我們拿個(gè)簡單點(diǎn)的東西來研究一下吧，QQ網(wǎng)站上的天氣預(yù)報(bào)程序
程序演示地址：http://www.colasky.com/weather.asp
源碼下載：http://www.colasky.com/weather.rar
代碼如下：
以下是代碼片段：
〈%
On Error Resume Next
Server.ScriptTimeOut=9999999
Function getHTTPPage(Path)
t = GetBody(Path)
getHTTPPage=BytesToBstr(t,"GB2312")
End function'首先，進(jìn)行小偷程序的一些初始化設(shè)置，以上代碼的作用分別是忽略掉所有非致命性錯(cuò)誤，把小偷程序的運(yùn)行超時(shí)時(shí)間設(shè)置得很長（這樣不會(huì)出現(xiàn)運(yùn)行超時(shí)的錯(cuò)誤），轉(zhuǎn)換原來默認(rèn)的UTF-8編碼轉(zhuǎn)換成GB2312編碼，否則直接用XMLHTTP組件調(diào)用有中文字符的網(wǎng)頁得到的將是亂碼。
以下是代碼片段：
Function GetBody(url)
on error resume next
Set Retrieval = CreateObject("Microsoft.XMLHTTP")
With Retrieval
.Open "Get", url, False, "", ""
.Send
GetBody = .ResponseBody
End With
Set Retrieval = Nothing
End Function
’然后調(diào)用XMLHTTP組件創(chuàng)建一個(gè)對(duì)象并進(jìn)行初始化設(shè)置。
Function BytesToBstr(body,Cset)
dim objstream
set objstream = Server.CreateObject("adodb.stream")
objstream.Type = 1
objstream.Mode =3
objstream.Open
objstream.Write body
objstream.Position = 0
objstream.Type = 2
objstream.Charset = Cset
BytesToBstr = objstream.ReadText
objstream.Close
set objstream = nothing
End Function
Function Newstring(wstr,strng)
Newstring=Instr(lcase(wstr),lcase(strng))
if Newstring〈=0 then Newstring=Len(wstr)
End Function
’處理抓取回來的數(shù)據(jù)需要調(diào)用adodb.stream組件并進(jìn)行初始化設(shè)置。%〉
’以下即為頁面顯示部分
〈%
Dim wstr,str,url,start,over,city
’定義一些需要使用到的變量
city = Request.QueryString("id")
’程序傳回的ID變量（即用戶選擇的城市）賦給id
url="http://appnews.qq.com/cgi-bin/news_qq_search?city="&city&""
’這里設(shè)置需要抓取的頁面地址，當(dāng)然你也可以直接指定某個(gè)地址而不使用變量
wstr=getHTTPPage(url) ' 以下是代碼片段：
獲取指定頁面的全部數(shù)據(jù)
start=Newstring(wstr," ")
’這里設(shè)置需要處理的數(shù)據(jù)的頭部，這個(gè)變量應(yīng)視不同情況而設(shè)置，具體內(nèi)容可以通過查看需要抓取的頁面的源代碼來確定。因?yàn)樵谶@個(gè)程序里我們需要抓取整個(gè)頁面,所以設(shè)置為頁面全部抓取。注意，設(shè)置的內(nèi)容必須是頁面內(nèi)容唯一的，不可以重復(fù)。
over=Newstring(wstr," ")
’和start相對(duì)應(yīng)的就是需要處理的數(shù)據(jù)的尾部，同樣的，設(shè)置的內(nèi)容必須是頁面中唯一的。
body=mid(wstr,start,over-start)
’設(shè)置顯示頁面的范圍
’下面就是動(dòng)用乾坤挪移大法的時(shí)候了，通過replace可以用一些字符替換掉數(shù)據(jù)中指定的字符。
body = replace(body,"skin1","天氣預(yù)報(bào)")
body = replace(body,"http://appnews.qq.com/cgi-bin/news_qq_search?city","tianqi.asp?id")
’本程序中已經(jīng)完成了替換的工作，如果有其他需要的話可以繼續(xù)進(jìn)行類似的替換操作。
response.write body
%〉替換完需要修改的內(nèi)容后，就可以把修改的內(nèi)容顯示在頁面上了。至此程序結(jié)束
程序使用方法及結(jié)果：把上述代碼去掉說明部分后保存為tianqi.asp，上傳到支持ASP和XML的空間下，在瀏覽器中運(yùn)行即可。你可以在在這個(gè)程序的基礎(chǔ)上進(jìn)行進(jìn)一步的界面美化或者程序優(yōu)化。
以上只是一些關(guān)于XMLHTTP組件的初級(jí)應(yīng)用，實(shí)際上它還能實(shí)現(xiàn)的功能還有很多，比如說保存遠(yuǎn)程圖片到本地服務(wù)器上，配合adodb.stream組件可以把獲取來的數(shù)據(jù)保存進(jìn)數(shù)據(jù)庫。小偷的作用和使用范圍都很廣。但是不可以拿來做違法的事哦！
也許還有人要問了，這種“小偷”程序難道只是ASP的專利嗎？非也，PHP通過fopen函數(shù)一樣可以實(shí)現(xiàn)同樣的效果，由于PHP本身的各種特點(diǎn)，寫出來的小偷程序和ASP相比，在體積和執(zhí)行效率上都有著明顯的優(yōu)勢，但限于篇幅，這里就不一一說明了。

文章采集源碼（文章采集源碼怎么弄）

什么是帶采集的網(wǎng)站源碼

采集就是按照一定的規(guī)則自動(dòng)采集別人網(wǎng)站上的文章，現(xiàn)在大多cms網(wǎng)站都有采集功能，如果沒有的可以用一些采集軟件，比如火車頭、狂人采集器等等！不過采集會(huì)影響百度對(duì)自己網(wǎng)站的收錄，嚴(yán)重話還會(huì)導(dǎo)致降權(quán)甚至K站，所以，建議網(wǎng)站初期用下采集，當(dāng)正式步入軌道以后就停止，自己更新高質(zhì)量文章，當(dāng)然，如果是做垃圾站就無所謂了！

以上就是關(guān)于文章采集源碼相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。