Файли robots.txt дар решаи вебсайтатон захира карда мешавад, ки роботҳои вебро ба монанди миқдори муҳаррики ҷустуҷӯии маълумотҳо ва файлҳои ба онҳо иҷозат додашуда иҷозат медиҳанд. Барои осон кардани файлҳои роботкунакҳо истифода бурдан мумкин аст, аммо баъзе чизҳоро бояд ёдовар шавед:
- Роботҳои сотсиалҳои сиёҳе, ки ба роботҳои роботҳои худ ранг карда мешаванд Намудҳои маъмултарини блокҳои зараровар ва роботҳо барои ҷустуҷӯи суроғаҳои почтаи электронӣ ба пахтачинӣ мебошанд.
- Баъзе барномасозони нав роботҳо менависанд, ки рангҳои роботро иҷро мекунанд. Ин одатан бо хатогӣ анҷом дода мешавад.
- Ҳар кас метавонад файлҳои роботинги худро санҷад. Он вақтҳо маъмулан robots.txt ном доранд ва ҳамеша дар решаи вебсайт нигоҳ дошта мешаванд.
- Дар охир, агар касе ба феҳрист ё феҳрист пайваст шуда бошад, ки аз тарафи роботҳо.txt берун аз саҳифа, ки аз тарафи роботҳои.txt рабт дода нашудааст, мундариҷаҳои ҷустуҷӯӣ ба ҳар ҳол метавонад онро пайдо кунад.
Файли robots.txt -ро истифода нанамоед, то чизи муҳимро пинҳон кунед. Ба ҷои ин, шумо бояд маълумоти муҳимро дар паси пардаҳои бехато ҷойгир кунед ё онро аз веб тарҳ кунед.
Чӣ тавр истифода бурдани ин намунаҳо
Матнро аз намуна, ки ба наздиктарин ба он чизе, ки мехоҳед мекунед, нусхабардорӣ кунед ва онро ба роботҳои robots.txt кунед. Робот, феҳрист ва номҳои файлро ба танзимоти танзимоти худ иваз кунед.
Ду файлҳои асосии Robots.txt
Намояндаи корбар: *
Нобуд кардан: /
Ин файл мегӯяд, ки ҳар як робот (Истифодабаранда-агент: *), ки ба он дастрас аст, бояд ҳар саҳифаро дар сомона рад кунад (Disallow: /).
Намояндаи корбар: *
Иҷозати:
Ин файл мегӯяд, ки ҳар гуна робот (Истифодабаранда-агент: *), ки ба он дастрас аст, дидани ҳар саҳифа дар сомона (Disallow:).
Шумо инчунин метавонед инро аз тариқи раҳо кардани robots.txt файл бавоси кунед ё дар ягон сомонаи худ дар ягон ҷой надошта бошед.
Аз роботҳо муҳофизат кунед
Намояндаи корбар: *
Ба ғайр аз ин: / cgi-bin /
Таҳлили: / temp /
Ин файли мазкур мегӯяд, ки ҳар як робот (Истифодабаранда-агент: *), ки ба он дастрас аст, бояд нихоятҳо / cgi-bin / ва / temp / (таваққуф: / cgi-bin / disallow: / temp /).
Аз роботҳои мушаххас муҳофизат кунед
Намояндаи корбар: *
Ном: /jenns-stuff.htm
Нобуд кардан: /private.php
Ин файл мегӯяд, ки ҳар як робот (Истифодабаранда-агент: *), ки ба он дастрас аст, бояд файлҳои /jenns-stuff.htm ва /private.php (Disallow: /jenns-stuff.htm Disallow: /private.php) -ро гирад.
Роботҳои мушаххасро аз дастрасӣ ба сайт пешгирӣ кунед
Намояндаи корбар: Lycos / xx
Нобуд кардан: /
Ин файл мегӯяд, ки бақияи Ликос (User-agent: Lycos / xx) дастрасӣ ба ҳама ҷой дар сайт дастрас нестанд (Disallow: /).
Танҳо як Рӯйхати махсуси роботаро иҷозат диҳед
Намояндаи корбар: *
Нобуд кардан: /
Шабакаи истифодабаранда: Googlebot
Иҷозати:
Ин парванда аввалин роботҳоеро, ки мо пештар анҷом дода будем, рад мекунад ва сипас ба Googlebot (Шабакаи истифодабаранда: Googlebot) ба ҳама чиз дастрас аст (Disallow:).
Барои пайвастан ба истилоҳҳои гуногун, ба истиснои истисноҳое, ки мехоҳед, биравед
Дар ҳоле, ки беҳтар аст, ки истифодаи хатти истифодабарандаи хеле васеъро истифода баред, монанди Истифодабаранда-намоянда: *, шумо метавонед, ки ба шумо маъқул бошад. Дар хотир доред, ки роботҳо файлро бо тартиби хонда истодаанд. Пас, агар хатҳои аввал гӯянд, ки ҳамаи роботҳо аз ҳама чиз маҳруманд, ва баъдтар дар файли он мегӯянд, ки ҳамаи роботҳо ба ҳама чиз дастрасӣ доранд, роботҳо ба ҳама чиз дастрасӣ доранд.
Агар шумо боварӣ надошта бошед, ки оё шумо рангҳоеро, ки рангҳои драйвери худро дуруст навиштаед, шумо метавонед вебсайти Google-ро истифода баред, барои санҷидани файлҳои robots.txt ё навишти навро истифода баред.