使用軟件開(kāi)發(fā)的工具抓取網(wǎng)頁(yè)內(nèi)容時(shí)，WebClient.openread或HttpWebResponse出現(xiàn)“遠(yuǎn)程服務(wù)器返回錯(cuò)誤: (403) 已禁止”的錯(cuò)誤，這種情況怎么處理呢？通常網(wǎng)頁(yè)的內(nèi)容在瀏覽器是可以正常訪問(wèn)的，那么肯定是軟件開(kāi)發(fā)時(shí)模擬瀏覽器訪問(wèn)的參數(shù)和真實(shí)瀏覽器訪問(wèn)時(shí)參數(shù)有不同。
以WebClient類(lèi)使用為例，加入以下請(qǐng)求的頭部信息，就可以解決這個(gè)問(wèn)題：
webclient.Headers.Add("Accept", "image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-shockwave-flash, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*");
webclient.Headers.Add("User-Agent", "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)");
詳細(xì)的請(qǐng)求標(biāo)頭參數(shù)介紹如下：
Accept：瀏覽器可接受的MIME類(lèi)型。
Accept-Charset：瀏覽器可接受的字符集?！ ?/span>
Accept-Encoding：瀏覽器能夠進(jìn)行解碼的數(shù)據(jù)編碼方式，比如gzip。Servlet能夠向支持gzip的瀏覽器返回經(jīng)gzip編碼的HTML頁(yè)面。許多情形下這可以減少5到10倍的下載時(shí)間。
Accept-Language：瀏覽器所希望的語(yǔ)言種類(lèi)，當(dāng)服務(wù)器能夠提供一種以上的語(yǔ)言版本時(shí)要用到?！ ?/span>
Authorization：授權(quán)信息，通常出現(xiàn)在對(duì)服務(wù)器發(fā)送的WWW-Authenticate頭的應(yīng)答中?！ ?nbsp;
Connection：表示是否需要持久連接。如果Servlet看到這里的值為“Keep-Alive”，或者看到請(qǐng)求使用的是 HTTP 1.1（HTTP 1.1默認(rèn)進(jìn)行持久連接），它就可以利用持久連接的優(yōu)點(diǎn)，當(dāng)頁(yè)面包含多個(gè)元素時(shí)（例如Applet，圖片），顯著地減少下載所需要的時(shí)間。要實(shí)現(xiàn)這一 點(diǎn)，Servlet需要在應(yīng)答中發(fā)送一個(gè)Content-Length頭，最簡(jiǎn)單的實(shí)現(xiàn)方法是：先把內(nèi)容寫(xiě)入 ByteArrayOutputStream，然后在正式寫(xiě)出內(nèi)容之前計(jì)算它的大小。
Content-Length：表示請(qǐng)求消息正文的長(zhǎng)度。
Cookie：這是最重要的請(qǐng)求頭信息之一
From：請(qǐng)求發(fā)送者的email地址，由一些特殊的Web客戶程序使用，瀏覽器不會(huì)用到它?！ ?/span>
Host：初始URL中的主機(jī)和端口?！ ?/span>
If-Modified-Since：只有當(dāng)所請(qǐng)求的內(nèi)容在指定的日期之后又經(jīng)過(guò)修改才返回它，否則返回304“Not Modified”應(yīng)答?！ ?/span>
Pragma：指定“no-cache”值表示服務(wù)器必須返回一個(gè)刷新后的文檔，即使它是代理服務(wù)器而且已經(jīng)有了頁(yè)面的本地拷貝?！ ?/span>
Referer：包含一個(gè)URL，用戶從該URL代表的頁(yè)面出發(fā)訪問(wèn)當(dāng)前請(qǐng)求的頁(yè)面?！ ?/span>
User-Agent：瀏覽器類(lèi)型，如果Servlet返回的內(nèi)容與瀏覽器類(lèi)型有關(guān)則該值非常有用。
UA-Pixels，UA-Color，UA-OS，UA-CPU：由某些版本的IE瀏覽器所發(fā)送的非標(biāo)準(zhǔn)的請(qǐng)求頭，表示屏幕大小、顏色深度、操作系統(tǒng)和CPU類(lèi)型。
合肥開(kāi)拓科技，為您提供營(yíng)銷(xiāo)型網(wǎng)站建設(shè)、軟件開(kāi)發(fā)和網(wǎng)站推廣服務(wù)http://fpzbbrv.cn,聯(lián)系QQ：2324139718