REPgiúp webmaster điều hướng hoạt động của robot (hay còn gọi là crawler, spider- phần mềm dò tìm dữ liệu của các cỗ máy tìm kiếm) đối với website của mình. Webmaster có thể dùng file Robots.txt để ngăn chặn robot xâm nhập các thư mục và file trên server của mình và thẻ Meta Robots giúp ngăn chặn robots ở cấp độ từng trang riêng lẻ.
Về Robots.txt, cả 3 đại gia tìm kiếm đều hỗ trợ các chỉ dẫn (directive) sau:
Về thẻ Meta Robots, cả Google, Yahoo! và Microsoft đều thỏa thuận:
Thực ra Giao thức ngăn chặn Robots - REPđã được hiểu ngầm là 1 tiêu chuẩn chưa chính thức (de-facto standard) của các cỗ máy tìm kiếm từ những năm 1990. Tuy nhiên đây là lần đầu tiên Google, Yahoo! và Microsoft “cộng tác” (collaborating) hay “làm việc với nhau” (working together) về REP, mặc dù họ chưa xây dựng nên 1 tiêu chuẩn mới (như đã từng dựng trang Sitemaps.org năm 2006 hướng dẫn Sitemap cho website) mà chỉ mới tuyên bố trên blog của họ.
(Theo Blog Google, Yahoo! và Microsoft)
* Các bạn vui lòng tham khảo chi tiết tại:
Những tin mới hơn
Những tin cũ hơn
1. Môi trường máy chủ Yêu cầu bắt buộc Hệ điều hành: Unix (Linux, Ubuntu, Fedora …) hoặc Windows PHP: PHP 5.4 hoặc phiên bản mới nhất. MySQL: MySQL 5.5 hoặc phiên bản mới nhất Tùy chọn bổ sung Máy chủ Apache cần hỗ trợ mod mod_rewrite. Máy chủ Nginx cấu hình các thông...
Thứ năm - 18/04/2024 18:25
Số TBMT: IB2400090989-00. Bên mời thầu: Khu Quản lý đường bộ II. Đóng thầu: 10:00 27/04/24Thứ năm - 18/04/2024 18:23
Số TBMT: IB2400090994-00. Bên mời thầu: Lữ đoàn 45, Binh chủng Pháo binh. Đóng thầu: 15:10 25/04/24Thứ năm - 18/04/2024 18:23
Số TBMT: IB2400090981-00. Bên mời thầu: Lữ đoàn 45, Binh chủng Pháo binh. Đóng thầu: 15:00 25/04/24Thứ năm - 18/04/2024 18:19
Số TBMT: IB2400088790-00. Bên mời thầu: Nhà máy A31. Đóng thầu: 08:00 25/04/24Thứ năm - 18/04/2024 18:19
Số TBMT: IB2400090664-00. Bên mời thầu: Bộ Tham mưu, Quân khu 2. Đóng thầu: 07:00 27/04/24Thứ năm - 18/04/2024 17:50
Số TBMT: IB2400090974-00. Bên mời thầu: TRUNG ĐOÀN KHÔNG QUÂN 921. Đóng thầu: 07:00 25/04/24Thứ năm - 18/04/2024 17:16
Số TBMT: IB2400090949-00. Bên mời thầu: CÔNG AN TỈNH THÁI NGUYÊN. Đóng thầu: 08:30 06/05/24Thứ năm - 18/04/2024 17:06
Số TBMT: IB2400089727-00. Bên mời thầu: CÔNG TY TNHH MỘT THÀNH VIÊN CÔNG NGHIỆP HÓA CHẤT MỎ VIỆT BẮC - MICCO. Đóng thầu: 10:00 27/04/24Thứ năm - 18/04/2024 17:01
Số TBMT: IB2400090967-00. Bên mời thầu: Khu Quản lý đường bộ II. Đóng thầu: 10:00 27/04/24Thứ năm - 18/04/2024 16:34
Số TBMT: IB2400088778-00. Bên mời thầu: Trung tâm Xúc tiến Thương mại, Du lịch và Đầu tư tỉnh Đồng Tháp. Đóng thầu: 07:00 27/04/24Thứ năm - 18/04/2024 21:51
Số KHLCNT: PL2400059524-00. Chủ đầu tư: Ban quản lý dự án đầu tư xây dựng huyện Tân Hưng. Công bố: 02:51 19/04/24Thứ năm - 18/04/2024 19:01
Số KHLCNT: PL2400059523-00. Chủ đầu tư: Trung tâm Điều dưỡng Người có công tỉnh Bắc Giang. Công bố: 00:01 19/04/24Thứ năm - 18/04/2024 18:24
Số KHLCNT: PL2400059521-00. Chủ đầu tư: Ban Quản lý dự án và Phát triển quỹ đất huyện Tam Nông. Công bố: 23:24 18/04/24Thứ năm - 18/04/2024 18:22
Số KHLCNT: PL2400058550-01. Chủ đầu tư: Ban quản lý hồ Hoàn Kiếm và phố cổ Hà Nội. Công bố: 23:22 18/04/24Thứ năm - 18/04/2024 17:46
Số KHLCNT: PL2400059520-00. Chủ đầu tư: Bộ Tham mưu - Binh chủng hoá học. Công bố: 22:46 18/04/24