刘亦菲国产一区二区三区在线观看-国产天堂高清视频在线观看-看一级毛片一区二区三区免费-日韩高清无吗在线观看-白白在线视频免费观看-韩国精品视频一区在线播放-午夜福利精品一区视频-美女露B让男人捅。-少妇无码一区二区三区免费

　　當(dāng)我們制作網(wǎng)站時，一個完整的網(wǎng)站應(yīng)該有301個重定向、404個頁面和robots.txt文件，這些都是制作網(wǎng)站所必需的。 其中robots.txt 文件來屏蔽不想被搜索引擎抓取的頁面。

　　robots.txt是搜索引擎中第一個在訪問網(wǎng)站時查看的文件。當(dāng)搜索引擎訪問網(wǎng)站時，它首先檢查站點根目錄中是否存在robots.txt，如果存在，搜索引擎將根據(jù)文件的內(nèi)容確定訪問范圍。如果文件不存在，那么搜索引擎都可以訪問不受密碼保護的站點上的所有頁面。

　　如果網(wǎng)站因某種原因而被修改或突然刪除大量網(wǎng)頁，但網(wǎng)站上出現(xiàn)大量死鏈接，不利于網(wǎng)站在搜索引擎中的排名。雖然可以直接向百度提交死鏈接，但現(xiàn)在最好方法是直接阻止搜索引擎爬行死鏈接。

　　網(wǎng)站有時候會有不希望被搜索引擎索引的內(nèi)容，如私有數(shù)據(jù)、用戶信息、管理背景頁面等，可以由robots.txt屏蔽。

　　使用方法。使用記事本等編輯軟件，在User-agent后添加需要屏蔽的搜索引擎的爬行工具名稱Googlebot、sogou spider等，在Disallow后添加網(wǎng)站的限制目錄/bin/、/admin/等，將文件名命名為robots.txt上傳到網(wǎng)站根目錄即可。

　　例圖：

（非特殊說明，本文版權(quán)歸原作者所有，轉(zhuǎn)載請注明出處 ）
標(biāo)簽： 上海網(wǎng)站建設(shè)、上海網(wǎng)站制作、高端網(wǎng)站設(shè)計、邁若網(wǎng)絡(luò)

手機隨時獲取邁若動態(tài)，掃描左側(cè)二維碼
添加邁若微信公眾號【manro_since2005】