REPgiúp webmaster điều hướng hoạt động của robot (hay còn gọi là crawler, spider- phần mềm dò tìm dữ liệu của các cỗ máy tìm kiếm) đối với website của mình. Webmaster có thể dùng file Robots.txt để ngăn chặn robot xâm nhập các thư mục và file trên server của mình và thẻ Meta Robots giúp ngăn chặn robots ở cấp độ từng trang riêng lẻ.
Về Robots.txt, cả 3 đại gia tìm kiếm đều hỗ trợ các chỉ dẫn (directive) sau:
Về thẻ Meta Robots, cả Google, Yahoo! và Microsoft đều thỏa thuận:
Thực ra Giao thức ngăn chặn Robots - REPđã được hiểu ngầm là 1 tiêu chuẩn chưa chính thức (de-facto standard) của các cỗ máy tìm kiếm từ những năm 1990. Tuy nhiên đây là lần đầu tiên Google, Yahoo! và Microsoft “cộng tác” (collaborating) hay “làm việc với nhau” (working together) về REP, mặc dù họ chưa xây dựng nên 1 tiêu chuẩn mới (như đã từng dựng trang Sitemaps.org năm 2006 hướng dẫn Sitemap cho website) mà chỉ mới tuyên bố trên blog của họ.
(Theo Blog Google, Yahoo! và Microsoft)
* Các bạn vui lòng tham khảo chi tiết tại:
Những tin mới hơn
Những tin cũ hơn
Giới thiệu khái quát NukeViet là một ứng dụng trên nền web có thể sử dụng vào nhiều mục đích khác nhau. Phiên bản đang được phát hành theo giấy phép phần mềm tự do nguồn mở có tên gọi đầy đủ là NukeViet CMS gồm 2 phần chính là phần nhân (core) của hệ thống NukeViet và nhóm chức năng quản trị nội...
Thứ bảy - 27/04/2024 02:02
Số TBMT: IB2400100532-01. Bên mời thầu: Học viện Phòng không-Không quân/Quân chủng Phòng không-Không quân. Đóng thầu: 14:00 06/05/24Thứ bảy - 27/04/2024 01:56
Số TBMT: IB2400103661-00. Bên mời thầu: Khu Quản lý đường bộ I. Đóng thầu: 09:00 10/05/24Thứ bảy - 27/04/2024 01:10
Số TBMT: IB2400082539-01. Bên mời thầu: Cục Dự trữ Nhà nước khu vực Thanh Hóa. Đóng thầu: 09:00 08/05/24Thứ bảy - 27/04/2024 01:06
Số TBMT: IB2400082597-01. Bên mời thầu: Cục Dự trữ Nhà nước khu vực Thanh Hóa. Đóng thầu: 09:00 08/05/24Thứ bảy - 27/04/2024 01:03
Số TBMT: IB2400082621-01. Bên mời thầu: Cục Dự trữ Nhà nước khu vực Thanh Hóa. Đóng thầu: 09:00 08/05/24Thứ bảy - 27/04/2024 01:00
Số TBMT: IB2400080081-02. Bên mời thầu: Cục Dự trữ Nhà nước khu vực Đà Nẵng. Đóng thầu: 09:00 08/05/24Thứ bảy - 27/04/2024 00:59
Số TBMT: IB2400082629-01. Bên mời thầu: Cục Dự trữ Nhà nước khu vực Thanh Hóa. Đóng thầu: 09:00 08/05/24Thứ bảy - 27/04/2024 00:59
Số TBMT: IB2400101022-01. Bên mời thầu: CÔNG TY CỔ PHẦN XI MĂNG LA HIÊN VVMI. Đóng thầu: 10:30 08/05/24Thứ bảy - 27/04/2024 00:58
Số TBMT: IB2400103632-00. Bên mời thầu: CÔNG TY TNHH TƯ VẤN XÂY DỰNG VÀ DỊCH VỤ LÊ GIA PHÁT. Đóng thầu: 09:00 06/05/24Thứ bảy - 27/04/2024 00:56
Số TBMT: IB2400079923-01. Bên mời thầu: Cục Dự trữ Nhà nước khu vực Đà Nẵng. Đóng thầu: 09:00 08/05/24Thứ bảy - 27/04/2024 09:22
Số KHLCNT: PL2400067570-00. Chủ đầu tư: Bệnh viện Đại học Y Dược Thành phố Hồ Chí Minh. Công bố: 13:22 27/04/24Thứ bảy - 27/04/2024 09:08
Số KHLCNT: PL2400067575-00. Chủ đầu tư: Ủy ban nhân dân xã Bà Điểm. Công bố: 13:08 27/04/24Thứ bảy - 27/04/2024 09:03
Số KHLCNT: PL2400067573-00. Chủ đầu tư: Ban Quản lý dự án đầu tư xây dựng huyện Phú Xuyên. Công bố: 13:03 27/04/24Thứ bảy - 27/04/2024 08:44
Số KHLCNT: PL2400067574-00. Chủ đầu tư: UBND phường Phú Lợi. Công bố: 12:44 27/04/24Thứ bảy - 27/04/2024 08:31
Số KHLCNT: PL2400067572-00. Chủ đầu tư: Công ty TNHH xăng dầu Nam Tây Nguyên. Công bố: 12:31 27/04/24