Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /cgi-bin/*.htm 禁止訪問(wèn)/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問(wèn)網(wǎng)站中所有的動(dòng)態(tài)頁(yè)面
Disallow: .jpg$ 禁止抓取網(wǎng)頁(yè)所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html所有文件
User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個(gè)通配符
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個(gè)目錄
Allow: .htm$ 僅允許訪問(wèn)以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網(wǎng)頁(yè)和gif格式圖片robots.txt文件用法舉例
猜你喜歡
- 1建一個(gè)網(wǎng)站公司報(bào)價(jià)是多少錢
- 2在線答題考試小程序軟件開(kāi)發(fā)
- 3鄭州整站關(guān)鍵詞排名優(yōu)化
- 4西餐廳小程序軟件開(kāi)發(fā)
- 5軟件怎么開(kāi)發(fā)要多少錢-怎樣開(kāi)發(fā)設(shè)計(jì)效果好
- 6家政接單小程序如何制作成app
- 7教育培訓(xùn)系統(tǒng)軟件開(kāi)發(fā)-開(kāi)發(fā)教育系統(tǒng)的軟件公司有那些
- 8綜合金融貸款A(yù)PP開(kāi)發(fā)
- 9教育行業(yè)的微信小程序開(kāi)發(fā)
- 10網(wǎng)站偽靜態(tài)-網(wǎng)站生成靜態(tài)頁(yè)面對(duì)SEO的好處
聯(lián)絡(luò)方式：
電話：15038330582
郵箱：278477169@qq.com
-
人力資源方面APP軟件開(kāi)發(fā)
公司管理模式如果想朝著智能化的發(fā)展趨勢(shì)靠攏，為了公司的發(fā)展對(duì)員工和管理體系的完善，人力資源管理APP就是一個(gè)標(biāo)準(zhǔn)的起步，讓客戶更好的在網(wǎng)上進(jìn)行操作。 人力資源管理...
-
http網(wǎng)站轉(zhuǎn)化為https網(wǎng)站對(duì)搜索引擎有什么影響
使用https加密目前看有利有弊。利，首先是安全，減少被劫持、篡改的機(jī)會(huì)。弊，主要是速度上的，由于證書驗(yàn)證、多次握手、CPU消耗等原因，https頁(yè)面速度會(huì)被拖慢一點(diǎn)。但https無(wú)疑是未...
-
房地產(chǎn)開(kāi)發(fā)商小程序開(kāi)發(fā)
房地產(chǎn)行業(yè)在這個(gè)幾十年的騰飛輝煌的時(shí)光里，各個(gè)行業(yè)各業(yè)也借助網(wǎng)絡(luò)實(shí)現(xiàn)數(shù)字化發(fā)展，房地產(chǎn)行業(yè)也是如此。為行業(yè)賦予了一定的意義，作為普通的消費(fèi)者來(lái)說(shuō)常見(jiàn)的房地產(chǎn)小程序...
-
鄭州吃喝小程序開(kāi)發(fā)
餐飲小程序是針對(duì)中小型商家實(shí)現(xiàn)點(diǎn)餐和外賣的服務(wù)小程序，餐廳小程序的功能都有那些，開(kāi)發(fā)這樣的功能能實(shí)現(xiàn)什么樣的效果。 (1)排隊(duì)叫號(hào)功能 在餐廳小程序排號(hào)功能，從...
-
開(kāi)發(fā)做一個(gè)跑腿小程序軟件多少錢
一、校園跑腿小程序軟件項(xiàng)目客戶來(lái)源介紹 校園跑腿的生意一直都是高校的大塊蛋糕市場(chǎng)，校園生活由于人數(shù)多，需求量大。不僅學(xué)校注重這款的市場(chǎng)學(xué)生也看到了商機(jī)，陳總就是...
