Khi robot truy cập vào một website, trước khi đọc nội dung các trang web (bao gồm cả file sitemap), nó sẽ tìm đến robots.txt.
Robots.txt có vai trò như nội quy của website, quy định những khu vực robot được phép hoặc không được phép truy cập.
CÁCH THIẾT LẬP FILE ROBOTS CHUẨN CHO BLOSPOT
Bước 1: Vào Blog => Cài đặt => Tùy chọn tìm kiếm (“Robots.txt tùy chỉnh” và “Thẻ tiêu đề robot tùy chỉnh”)
Bước 2: Mục “Robots.txt tùy chỉnh” Bấm chọn chỉnh sửa => Yes => Sao chép đoạn Code dưới đây Paste và Lưu thay đổi.
Code :
Nội dung Code :
User-agent: * : Xác định các công cụ tìm kiếm mà quy tắc được áp dụng.
Disallow: / : Báo cho công cụ tìm kiếm biết nó không nên "Lục lọi" ở những file này.
Allow: / : Cho phép công cụ tìm kiếm index đọc tất cả các nội dung.
mobiari.com : Thay thành địa chỉ trang của các Bạn.
Bước 3: Mục “Thẻ tiêu đề robot tùy chỉnh” Bấm chọn chỉnh sửa => Yes => thiết lập như hình bên dưới và Lưu thay đổi.
all : Cho phép công cụ tìm kiếm lập chỉ mục.
noindex : Không hiển thị trang này trong kết quả tìm kiếm.
nofollow : Thông báo cho công cụ tìm kiếm không nên lần theo các liên kết này.
none : Tương tự như nonidex và nofollow.
noarchive : Không hiển thị một liên kết "Cached" trong kết quả tìm kiếm.
nosnippet : Không hiển thị một đoạn mã trong kết quả tìm kiếm cho trang này.
noodp : Không sử dụng dữ liệu từ các dự án Open Directory (DMOZ) cho tiêu đề hoặc đoạn hiển thị cho trang này.
notranslate : Không cung cấp bản dịch của trang này với các ngôn ngữ khác trong kết quả tìm kiếm.
noimageindex : Không lập chỉ mục cho hình ảnh trên trang này.
unavailable_after : Không hiển thị trang này trong kết quả tìm kiếm sau khi ngày/thời gian quy định. Ngày/thời phải được xác định trong các định dạng RCF 850.
Hello, my name is Quang Nha.