Hướng dẫn SEO hiệu quả với File robots.txt

Thực chất, file robots.txt là một tập tin văn bản đơn giản (không chứa mã HTML) được đặt trong thư mục gốc của web site
ví dụ http://www.example.com/robots.txt

Vậy, làm thế nào để tạo ra một file robots.txt?
Rất đơn giản, bạn có thể mở chương trình Notepad hay bất cứ chương trình soạn thảo văn bản nào, lưu file với tên robots.txt là xong. Các dòng lệnh trong file này có cấu trúc như sau:

Trong đó:
User-agent là đại diện của một search engine, GoogleBot là spider của Google. Trong ví dụ này, chỉ các spider của Google là được phép index website.
Disallow là không cho phép thực hiện điều gì đó. ở ví dụ trên là không cho phép các spider index thư mục “cgi-bin” trong web site.

* Không nên dùng lệnh Allow trong file robots.txt, bởi vì trong web site của bạn chắc chắn sẽ có một số trang hoặc một số thành phần bạn không muốn bị người khác “nhòm ngó”. nếu bạn sử dụng lệnh Allow, tất cả mọi ngóc ngách trong web site của bạn sẽ bị index