więcej
Strona główna » Pozycjonowanie

Plik robots.txt do kosza?

13 maja 2011 | Adam Kubiak
Ocena 2/5 (4 głosy)

W ostatnim czasie grupa aktywistów-programistów z Archive Team nawołuje do pozbycia się pliku robots.txt ze stron www, określając go tylko jako „szkodę i tymczasowe szaleństwo”. Plik robots.txt został stworzony przez Martina Kojstera w czasach, gdy Internet w postaci sieci tekstowej Gophera zaczął zastępować Word Wide Web. Innowacyjna jak na tamte czasy technologia powodowała obciążenie serwerów do granic możliwości, dlatego konieczne było stworzenie narzędzia pozwalającego administratorom ograniczenie dostępu do zasobu witryny internetowej innym maszynom i automatycznym procesom, żeby nie „spalić” serwera. Według Archive Team ówczesna rola robots.txt to już nuta przeszłości, ponieważ problem ten został już dawno rozwiązany. Obecnie plik robots.txt przynosi więcej kłopotów niż pożytku, m.in. powoduje niechciane modyfikacje, błędne przejścia URL i przede wszystkim utratę historycznie ważnych dla witryny danych. Na obronę robots.txt pozostaje powstrzymywanie botów przed aktywacją niepożądanych automatycznych procesów. Nasuwa się pytanie, co jeśli nawoływania „krzykaczy:” z Archive Team znajdą posłuch w szerszym kręgu webmasterów? Jaki wpływ będzie miało powszechne pozbycie się plików robots.txt na indeksację oraz na technikę pozycjonowania stron internetowych? Na razie nic nie zapowiada wielkiej rewolucji, więc pozostaje cierpliwie czekać na rozwój wydarzeń.


źródło: Webhosting


Poprzednie wpisy:

Dodaj komentarz:

Imię i nazwisko:
E-mail (niepublikowany):
Strona WWW:
Treść:
Kod z obrazka: