-
當(dāng)前位置:首頁(yè) > 創(chuàng)意學(xué)院 > 技術(shù) > 專(zhuān)題列表 > 正文
搜索引擎的工作原理有哪些(搜索引擎的工作原理有哪些內(nèi)容)
大家好!今天讓創(chuàng)意嶺的小編來(lái)大家介紹下關(guān)于搜索引擎的工作原理有哪些的問(wèn)題,以下是小編對(duì)此問(wèn)題的歸納整理,讓我們一起來(lái)看看吧。
開(kāi)始之前先推薦一個(gè)非常厲害的Ai人工智能工具,一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話(huà)答疑等等
只需要輸入關(guān)鍵詞,就能返回你想要的內(nèi)容,越精準(zhǔn),寫(xiě)出的就越詳細(xì),有微信小程序端、在線(xiàn)網(wǎng)頁(yè)版、PC客戶(hù)端
官網(wǎng):https://ai.de1919.com。
創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè),服務(wù)客戶(hù)遍布全球各地,如需了解SEO相關(guān)業(yè)務(wù)請(qǐng)撥打電話(huà)175-8598-2043,或添加微信:1454722008
本文目錄:
一、搜索引擎工作原理
一、工具:電腦
二、操作步驟
1.抓取
讀取網(wǎng)頁(yè)的內(nèi)容,找到在網(wǎng)頁(yè)中的其它鏈接地址,然后通過(guò)這些鏈接地址尋找下一個(gè)網(wǎng)頁(yè),這樣一直循環(huán)下去,直到把這個(gè)網(wǎng)站所有的網(wǎng)頁(yè)都抓取完為止。如果把整個(gè)互聯(lián)網(wǎng)當(dāng)成一個(gè)網(wǎng)站,那么網(wǎng)絡(luò)蜘蛛就可以用這個(gè)原理把互聯(lián)網(wǎng)上所有的網(wǎng)頁(yè)都抓取下來(lái),被抓取的網(wǎng)頁(yè)被稱(chēng)之為網(wǎng)頁(yè)快照。
2.數(shù)據(jù)庫(kù)處理
搜索引擎抓到網(wǎng)頁(yè)后,還要做大量的預(yù)處理工作,才能提供檢索服務(wù)。其中有,網(wǎng)站數(shù)據(jù)庫(kù),就是動(dòng)態(tài)網(wǎng)站存放網(wǎng)站數(shù)據(jù)的空間。索引數(shù)據(jù)庫(kù),索引是對(duì)數(shù)據(jù)庫(kù)表中一列或多列的值進(jìn)行排序的一種結(jié)構(gòu),使用索引可快速訪(fǎng)問(wèn)數(shù)據(jù)庫(kù)表中的特定信息。簡(jiǎn)單的來(lái)說(shuō),就是把【抓取】的網(wǎng)頁(yè)放進(jìn)數(shù)據(jù)庫(kù)。
3.分析檢索服務(wù)
搜索引擎從索引數(shù)據(jù)庫(kù)中找到匹配該關(guān)鍵詞的網(wǎng)頁(yè);
4.對(duì)收集的結(jié)果進(jìn)行排序
把收集來(lái)的網(wǎng)頁(yè)進(jìn)行排序,把這些進(jìn)行最終的排序。
注意事項(xiàng):蜘蛛程序url抓取頁(yè)面--存儲(chǔ)---原始頁(yè)面。
二、搜索引擎的工作原理
第一步:爬行
搜索引擎是通過(guò)一種特定規(guī)律的軟件跟蹤網(wǎng)頁(yè)的鏈接,從一個(gè)鏈接爬到另外一個(gè)鏈接,像蜘蛛在蜘蛛網(wǎng)上爬行一樣,所以被稱(chēng)為“蜘蛛”也被稱(chēng)為“機(jī)器人”。搜索引擎蜘蛛的爬行是被輸入了一定的規(guī)則的,它需要遵從一些命令或文件的內(nèi)容。
第二步:抓取存儲(chǔ)
搜索引擎是通過(guò)蜘蛛跟蹤鏈接爬行到網(wǎng)頁(yè),并將爬行的數(shù)據(jù)存入原始頁(yè)面數(shù)據(jù)庫(kù)。其中的頁(yè)面數(shù)據(jù)與用戶(hù)瀏覽器得到的HTML是完全一樣的。搜索引擎蜘蛛在抓取頁(yè)面時(shí),也做一定的重復(fù)內(nèi)容檢測(cè),一旦遇到權(quán)重很低的網(wǎng)站上有大量抄襲、采集或者復(fù)制的內(nèi)容,很可能就不再爬行。
第三步:預(yù)處理
搜索引擎將蜘蛛抓取回來(lái)的頁(yè)面,進(jìn)行各種步驟的預(yù)處理。
⒈提取文字
⒉中文分詞
⒊去停止詞
⒋消除噪音(搜索引擎需要識(shí)別并消除這些噪聲,比如版權(quán)聲明文字、導(dǎo)航條、廣告等……)
5.正向索引
6.倒排索引
7.鏈接關(guān)系計(jì)算
8.特殊文件處理
除了HTML 文件外,搜索引擎通常還能抓取和索引以文字為基礎(chǔ)的多種文件類(lèi)型,如 PDF、Word、WPS、XLS、PPT、TXT 文件等。我們?cè)谒阉鹘Y(jié)果中也經(jīng)常會(huì)看到這些文件類(lèi)型。 但搜索引擎還不能處理圖片、視頻、Flash 這類(lèi)非文字內(nèi)容,也不能執(zhí)行腳本和程序。
第四步:排名
用戶(hù)在搜索框輸入關(guān)鍵詞后,排名程序調(diào)用索引庫(kù)數(shù)據(jù),計(jì)算排名顯示給用戶(hù),排名過(guò)程與用戶(hù)直接互動(dòng)的。但是,由于搜索引擎的數(shù)據(jù)量龐大,雖然能達(dá)到每日都有小的更新,但是一般情況搜索引擎的排名規(guī)則都是根據(jù)日、周、月階段性不同幅度的更新。
選擇
與網(wǎng)站內(nèi)容相關(guān)
搜索次數(shù)多,競(jìng)爭(zhēng)小
主關(guān)鍵詞,不可太寬泛
主關(guān)鍵詞,不太特殊
商業(yè)價(jià)值
提取文字
中文分詞
去停止詞
消除噪聲
去重
正向索引
倒排索引
鏈接關(guān)系計(jì)算
特殊文件處理
三、搜索引擎基本工作原理的工作原理
1、抓取網(wǎng)頁(yè)。每個(gè)獨(dú)立的搜索引擎都有自己的網(wǎng)頁(yè)抓取程序爬蟲(chóng)(spider)。爬蟲(chóng)Spider順著網(wǎng)頁(yè)中的超鏈接,從這個(gè)網(wǎng)站爬到另一個(gè)網(wǎng)站,通過(guò)超鏈接分析連續(xù)訪(fǎng)問(wèn)抓取更多網(wǎng)頁(yè)。被抓取的網(wǎng)頁(yè)被稱(chēng)之為網(wǎng)頁(yè)快照。由于互聯(lián)網(wǎng)中超鏈接的應(yīng)用很普遍,理論上,從一定范圍的網(wǎng)頁(yè)出發(fā),就能搜集到絕大多數(shù)的網(wǎng)頁(yè)。
2、處理網(wǎng)頁(yè)。搜索引擎抓到網(wǎng)頁(yè)后,還要做大量的預(yù)處理工作,才能提供檢索服務(wù)。其中,最重要的就是提取關(guān)鍵詞,建立索引庫(kù)和索引。其他還包括去除重復(fù)網(wǎng)頁(yè)、分詞(中文)、判斷網(wǎng)頁(yè)類(lèi)型、分析超鏈接、計(jì)算網(wǎng)頁(yè)的重要度/豐富度等。
3、提供檢索服務(wù)。用戶(hù)輸入關(guān)鍵詞進(jìn)行檢索,搜索引擎從索引數(shù)據(jù)庫(kù)中找到匹配該關(guān)鍵詞的網(wǎng)頁(yè);為了用戶(hù)便于判斷,除了網(wǎng)頁(yè)標(biāo)題和URL外,還會(huì)提供一段來(lái)自網(wǎng)頁(yè)的摘要以及其他信息。
四、搜索引擎的工作原理是怎樣的?
搜索引擎的原理,可以看做三步:從互聯(lián)網(wǎng)上抓取網(wǎng)頁(yè)→建立索引數(shù)據(jù)庫(kù)→在索引數(shù)據(jù)庫(kù)中搜索排序。 從互聯(lián)網(wǎng)上抓取網(wǎng)頁(yè) 利用能夠從互聯(lián)網(wǎng)上自動(dòng)收集網(wǎng)頁(yè)的Spider系統(tǒng)程序,自動(dòng)訪(fǎng)問(wèn)互聯(lián)網(wǎng),并沿著任何網(wǎng)頁(yè)中的所有URL爬到其它網(wǎng)頁(yè),重復(fù)這過(guò)程,并把爬過(guò)的所有網(wǎng)頁(yè)收集回來(lái)。 建立索引數(shù)據(jù)庫(kù) 由分析索引系統(tǒng)程序?qū)κ占貋?lái)的網(wǎng)頁(yè)進(jìn)行分析,提取相關(guān)網(wǎng)頁(yè)信息(包括網(wǎng)頁(yè)所在URL、編碼類(lèi)型、頁(yè)面內(nèi)容包含的關(guān)鍵詞、關(guān)鍵詞位置、生成時(shí)間、大小、與其它網(wǎng)頁(yè)的鏈接關(guān)系等),根據(jù)一定的相關(guān)度算法進(jìn)行大量復(fù)雜計(jì)算,得到每一個(gè)網(wǎng)頁(yè)針對(duì)頁(yè)面內(nèi)容中及超鏈中每一個(gè)關(guān)鍵詞的相關(guān)度(或重要性),然后用這些相關(guān)信息建立網(wǎng)頁(yè)索引數(shù)據(jù)庫(kù)。 在索引數(shù)據(jù)庫(kù)中搜索排序 當(dāng)用戶(hù)輸入關(guān)鍵詞搜索后,由搜索系統(tǒng)程序從網(wǎng)頁(yè)索引數(shù)據(jù)庫(kù)中找到符合該關(guān)鍵詞的所有相關(guān)網(wǎng)頁(yè)。因?yàn)樗邢嚓P(guān)網(wǎng)頁(yè)針對(duì)該關(guān)鍵詞的相關(guān)度早已算好,所以只需按照現(xiàn)成的相關(guān)度數(shù)值排序,相關(guān)度越高,排名越靠前。 最后,由頁(yè)面生成系統(tǒng)將搜索結(jié)果的鏈接地址和頁(yè)面內(nèi)容摘要等內(nèi)容組織起來(lái)返回給用戶(hù)。 搜索引擎的Spider一般要定期重新訪(fǎng)問(wèn)所有網(wǎng)頁(yè)(各搜索引擎的周期不同,可能是幾天、幾周或幾月,也可能對(duì)不同重要性的網(wǎng)頁(yè)有不同的更新頻率),更新網(wǎng)頁(yè)索引數(shù)據(jù)庫(kù),以反映出網(wǎng)頁(yè)內(nèi)容的更新情況,增加新的網(wǎng)頁(yè)信息,去除死鏈接,并根據(jù)網(wǎng)頁(yè)內(nèi)容和鏈接關(guān)系的變化重新排序。這樣,網(wǎng)頁(yè)的具體內(nèi)容和變化情況就會(huì)反映到用戶(hù)查詢(xún)的結(jié)果中。 互聯(lián)網(wǎng)雖然只有一個(gè),但各搜索引擎的能力和偏好不同,所以抓取的網(wǎng)頁(yè)各不相同,排序算法也各不相同。大型搜索引擎的數(shù)據(jù)庫(kù)儲(chǔ)存了互聯(lián)網(wǎng)上幾億至幾十億的網(wǎng)頁(yè)索引,數(shù)據(jù)量達(dá)到幾千G甚至幾萬(wàn)G。但即使最大的搜索引擎建立超過(guò)二十億網(wǎng)頁(yè)的索引數(shù)據(jù)庫(kù),也只能占到互聯(lián)網(wǎng)上普通網(wǎng)頁(yè)的不到30%,不同搜索引擎之間的網(wǎng)頁(yè)數(shù)據(jù)重疊率一般在70%以下。我們使用不同搜索引擎的重要原因,就是因?yàn)樗鼈兡芊謩e搜索到不同的內(nèi)容。而互聯(lián)網(wǎng)上有更大量的內(nèi)容,是搜索引擎無(wú)法抓取索引的,也是我們無(wú)法用搜索引擎搜索到的。 你心里應(yīng)該有這個(gè)概念:搜索引擎只能搜到它網(wǎng)頁(yè)索引數(shù)據(jù)庫(kù)里儲(chǔ)存的內(nèi)容。你也應(yīng)該有這個(gè)概念:如果搜索引擎的網(wǎng)頁(yè)索引數(shù)據(jù)庫(kù)里應(yīng)該有而你沒(méi)有搜出來(lái),那是你的能力問(wèn)題,學(xué)習(xí)搜索技巧可以大幅度提高你的搜索能力。
以上就是關(guān)于搜索引擎的工作原理有哪些相關(guān)問(wèn)題的回答。希望能幫到你,如有更多相關(guān)問(wèn)題,您也可以聯(lián)系我們的客服進(jìn)行咨詢(xún),客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。
推薦閱讀:
搜索幾次會(huì)出現(xiàn)百度關(guān)鍵詞(搜索幾次會(huì)出現(xiàn)百度關(guān)鍵詞嗎)
惡心的搜索關(guān)鍵詞(最?lèi)盒牡乃阉鳎?/a>
景觀設(shè)計(jì)案例思路怎么寫(xiě)(景觀設(shè)計(jì)案例思路怎么寫(xiě)好)
靜安區(qū)日式花園景觀設(shè)計(jì)(靜安區(qū)日式花園景觀設(shè)計(jì)招聘)