Брз водич за пишување датотека Robots.txt

Единствениот начин да стапите во контакт со пајакот на пребарувачот, кој е Роботот, тоа е преку датотека наречена robots.txt. Или подобро. Кога го поднесувате предлогот за вашата веб-локација до Google, тој се соочува со едноставно огромна количина на информации.

Како може да се консултирате со учебник кој е толку голем што се чувствувате дека никогаш нема да најдете се што ви треба? Консултирајте се поимот. Па: датотеката robots.txt е индекс на вашата веб-страница.

Ова е документ кој лесно се пополнува и му кажува на пребарувачот на пребарувачот што треба да погледне. Накратко: ќе му помогнете да разбере од што е направен вашиот сајт, така што алгоритмот може да ви даде рангирање во согласност со работата што сте ја направиле.

Може ли некој да напише датотека robots.txt?

Краткиот одговор е да. Искрениот одговор е не. Иако граматиката на датотеката robots.txt е исклучително едноставна, а нејзиниот состав е само неколку реда, подобро е да му се довери грижата на стручен веб-администратор кој знае каде да ги стави рацете. На крајот на краиштата, само една мала грешка е доволна за да се загрози позиционирањето на вашата веб-локација, и затоа да се испратат сите операции за оптимизација на уништување уште пред да започнат.

Пред да започнеме, знајте една работа: секој може да ја консултира датотеката robots.txt на која било локација со пишување, по доменот, /robots.txt. Можете дури и да се консултирате со Google!

Можете да напишете датотека од овој тип без да преземате специјален софтвер. Всушност, сè што треба да направите е да го користите вашиот бележник и да зачувате, погодете што, во формат .txt.

Ајде да напишеме robots.txt заедно: заглавието

Да почнеме од почеток, како што е секогаш логично да се направи. Отворањето на датотеката, или заглавието, е целосно посветено на името на пајакот, на кое му претходи мала формулација која е секогаш иста. Претпоставуваме дека сакате да бидете забележани од Google. Значи, првата линија ќе биде:

Кориснички агент: Googlebot

Оваа многу кратка низа му укажува на Google дека сè што следи сигурно ќе биде од интерес за него. Во случај да сакате сите роботи кои го читаат овој тип на датотека да можат да го консултираат документот, заменете го Googlebot со едноставен *, а terвездичка.

Сега кога наведовте кој пајак, т.е. КОЈ, ќе треба да покажете исто така, ШТО треба да прочитате.

Секоја линија на код, по дефиниција, одговара на дејство на машината. Се подразбира дека секоја команда во датотеката robots.txt одговара на она што машината не треба да го прави. И ова е клучот што ви овозможува да напишете навистина ефективен. Зборуваме за командата DISALLOW.

Што е командата DISALLOW?

Il не дозволи команда ви овозможува да размислувате со исклучување. Со други зборови, кога велат дека е побрзо да се каже што не треба да се направи - добро, вие размислувате со исклучување. Покрај оневозможувањето, постои и дозволи или исклучок од блокот.

Ако сакате да напишете добра датотека со роботи, ќе треба да размислите наназад, па ќе мора да му кажете на Google што не треба да чита. Ако напишете:

Не дозволувај:

Пајакот ќе ја прочита целата ваша страница, без никакви сопирачки.

Ако по „Не дозволувај:“ внесете коса црта (затоа не дозволи: /), страницата нема да биде вклучена во пребарувачите, точка.

Не дозволи: /директориум/

Заменете го директориумот со зборови со папката што сакате да ја одбиете на пајакот. Можете да го сторите истото со одредена датотека.

Не дозволувајте: /filepersonale.html

Пази се од интерпункциски знаци и букви, големи или мали букви. Овој тип на датотека го зема овој вид „ситница“ во голема мера, но прави голема разлика.

Зошто треба да го блокирате Google да чита голем дел од вашата страница? Кога пишувате датотека од овој тип, важно е да разберете кои датотеки не треба да се појавуваат на пребарувачот, но без да ги злоупотребувате. Сепак, знајте дека секој што ја знае точната адреса на таа конкретна датотека ќе може да пристапи до неа во секој случај.

Која е командата ДОЗВОЛИ?

Во датотеката можете да додадете исклучок со командата СИТЕ. Граматиката е идентична, но ќе создаде исклучоци од DISALLOW што ќе отвори интересни маргини на истражување за пајакот.

Мал пример датотека:

Кориснички агент: Googlebot

Не дозволувај: /слики/

Дозволи: /images/vacanze.jpg

Во основа, му кажавме на Googlebot да не ја разгледува папката со слики, освен една посебна фотографија во неа, имено празничната.

И тоа, момци, е тоа. Ја напишавме нашата прва датотека robots.txt. Секако, она што ќе го создадеме за вистинската локација може да биде малку поинакво, но не многу. Ако се сомневате, секогаш добивајте совет од специјализиран веб-администратор. Ви препорачуваме да се обидете сами да го напишете, пред сè, и да му го испратите на проверка, за да ги совладате зачетоците и подобро да разберете како функционира вашата страница.

Каква е врската помеѓу robots.txt и сајтот?

Мапата на сајтот е датотека генерирана од специјални приклучоци што ги содржи сите врски на страницата. Кога пајакот ќе влезе на локацијата, прво ги чита роботите, а потоа ја скенира локацијата. Доколку при скенирањето на роботите ја најде адресата на мапата на сајтот, целиот процес ќе биде многу полесен.

Додадете го следново на кодот погоре:

Мапа на страницата: http://www.ilnomedeltuositobellissimo.com/sitemap.xml

Во заклучок

Сите датотеки со роботи се исти. Ова значи дека датотеката Robots напишана за Google ќе биде добра и за Bing и ја следи истата граматика.

Добро организирана датотека robots.txt ви овозможува да заштедете време на роботот. Не се обесхрабрувајте: ова е првиот чекор кон успехот!