導(dǎo)讀：百度蜘蛛這個(gè)名詞大家都是非常熟悉了，因?yàn)槲覀冊(cè)诳淳W(wǎng)站日志的時(shí)候就會(huì)著重去看百度蜘蛛每天來(lái)網(wǎng)站的抓取的時(shí)間段與次數(shù)，看百度蜘蛛每天爬取網(wǎng)站的次數(shù)與頁(yè)面是否正常，然后再去做一些網(wǎng)站優(yōu)化的調(diào)整，那今天深度網(wǎng)小編將為大家分享如何去利用百度蜘蛛referer找到報(bào)錯(cuò)頁(yè)面入口呢?

　　大家應(yīng)該都知道百度已經(jīng)全站https并取消referer關(guān)鍵詞顯示了，那么“百度蜘蛛referer”又是什么?有什么妙用嗎?

　　什么是百度蜘蛛的referer

　　百度蜘蛛的referer，是指當(dāng)百度蜘蛛抓取某一個(gè)URL的時(shí)候，在HTTP頭中帶的Referer字段。請(qǐng)注意，這個(gè)定義和百度最近聲明去除Referer中關(guān)鍵詞數(shù)據(jù)沒有任何關(guān)系。這次講的是spider發(fā)起的HTTP請(qǐng)求，百度而去除的是用戶發(fā)起的。如果百度蜘蛛抓取百度首頁(yè)的logo，會(huì)發(fā)起這樣的請(qǐng)求：

　　上面Referer字段很明確的表示了他是從www.baidu.com這個(gè)頁(yè)面上發(fā)現(xiàn)并抓取了www.baidu.com/img/bd_logo1.png。而大家在服務(wù)器訪問日志中也應(yīng)該能看到相應(yīng)的記錄。目前發(fā)現(xiàn)只有當(dāng)百度抓取一個(gè)網(wǎng)頁(yè)的同時(shí)，又抓取了網(wǎng)頁(yè)中的：img、js和css才會(huì)帶上referer字段。這部分額外的抓取量，應(yīng)該不會(huì)占用百度分配的抓取配額，屬于“買1送1”。

　　對(duì)于站長(zhǎng)的意義

　　如果你發(fā)現(xiàn)有一批URL(僅限于img,js,css)報(bào)錯(cuò)(4xx或者5xx)，但是一直找不到入口在哪，也就是說(shuō)你不明白百度蜘蛛是從哪里發(fā)現(xiàn)這些錯(cuò)誤URL的。這個(gè)字段可以幫助你迅速定位。

　　深度網(wǎng)為您舉個(gè)例子

　　比如我們的SEO日志分析系統(tǒng)中可以看到，符合下面這種URL Pattern的路徑每天有6萬(wàn)到10萬(wàn)的抓取而且全部報(bào)404。

　　從發(fā)現(xiàn)問題至今過了1個(gè)月，查遍整個(gè)網(wǎng)站我也沒找到入口。今天偶然仔細(xì)查了一下日志，想起了百度蜘蛛的referer，馬上就能定位問題了。這些404的URL來(lái)自于一套沒人維護(hù)也沒人關(guān)注的頁(yè)面(往往是這樣)。收錄流量都不錯(cuò)。由于最近公司圖片系統(tǒng)更新，圖片的URL全部更改了，但這套頁(yè)面并沒有跟著更新。

　　如果站點(diǎn)沒有記錄referer怎么辦

　　iis請(qǐng)?jiān)谶@里勾選“cs(Referer)”：

　　小結(jié)，我們?cè)诮o網(wǎng)站做SEO優(yōu)化的時(shí)候多多少少都會(huì)碰到一些問題，但是廣州營(yíng)銷型網(wǎng)站建設(shè)小編在這里不得不提醒大家的是有很多SEO問題并不是立即致命的，但如果我們沒有及時(shí)解決這些問題。那網(wǎng)站流量就像螞蟻啃大象一樣一點(diǎn)一點(diǎn)啃掉了，所以說(shuō)在碰到網(wǎng)站優(yōu)化的問題的時(shí)候，一定要及時(shí)的去解決，才不會(huì)出現(xiàn)流量下降的情況，平常也要多積累一些系統(tǒng)性的知識(shí)，因?yàn)樵陉P(guān)鍵時(shí)刻也是能發(fā)揮作用的。

　　隨著“互聯(lián)網(wǎng)+”時(shí)代的到來(lái)，全網(wǎng)營(yíng)銷已經(jīng)變得非常重要，你是否也想讓你的企業(yè)在網(wǎng)上發(fā)展更快更強(qiáng)大呢?深圳市深度網(wǎng)專業(yè)營(yíng)銷型網(wǎng)站建設(shè)公司，從成立之初一直專注于營(yíng)銷型網(wǎng)站建設(shè)，營(yíng)銷型手機(jī)網(wǎng)站建設(shè)，不斷為傳統(tǒng)企業(yè)打造網(wǎng)絡(luò)快速賺錢機(jī)器，為不少企業(yè)贏得了搶占網(wǎng)絡(luò)市場(chǎng)的先機(jī)。您可以點(diǎn)擊：，也可以撥打深度網(wǎng)免費(fèi)熱線電話：400-615-8050。