REPgiúp webmaster điều hướng hoạt động của robot (hay còn gọi là crawler, spider- phần mềm dò tìm dữ liệu của các cỗ máy tìm kiếm) đối với website của mình. Webmaster có thể dùng file Robots.txt để ngăn chặn robot xâm nhập các thư mục và file trên server của mình và thẻ Meta Robots giúp ngăn chặn robots ở cấp độ từng trang riêng lẻ.
Về Robots.txt, cả 3 đại gia tìm kiếm đều hỗ trợ các chỉ dẫn (directive) sau:
Về thẻ Meta Robots, cả Google, Yahoo! và Microsoft đều thỏa thuận:
Thực ra Giao thức ngăn chặn Robots - REPđã được hiểu ngầm là 1 tiêu chuẩn chưa chính thức (de-facto standard) của các cỗ máy tìm kiếm từ những năm 1990. Tuy nhiên đây là lần đầu tiên Google, Yahoo! và Microsoft “cộng tác” (collaborating) hay “làm việc với nhau” (working together) về REP, mặc dù họ chưa xây dựng nên 1 tiêu chuẩn mới (như đã từng dựng trang Sitemaps.org năm 2006 hướng dẫn Sitemap cho website) mà chỉ mới tuyên bố trên blog của họ.
(Theo Blog Google, Yahoo! và Microsoft)
* Các bạn vui lòng tham khảo chi tiết tại:
Những tin mới hơn
Những tin cũ hơn
1. Môi trường máy chủ Yêu cầu bắt buộc Hệ điều hành: Unix (Linux, Ubuntu, Fedora …) hoặc Windows PHP: PHP 5.4 hoặc phiên bản mới nhất. MySQL: MySQL 5.5 hoặc phiên bản mới nhất Tùy chọn bổ sung Máy chủ Apache cần hỗ trợ mod mod_rewrite. Máy chủ Nginx cấu hình các thông...
Thứ hai - 28/07/2025 05:34
Số TBMT: IB2500328208-00. Bên mời thầu: Bệnh viện Phổi Thanh Hóa. Đóng thầu: 16:00 06/08/25Thứ hai - 28/07/2025 05:34
Số TBMT: IB2500327944-00. Bên mời thầu: Bệnh viện Đa khoa Bạc Liêu. Đóng thầu: 14:00 06/08/25Thứ hai - 28/07/2025 05:33
Số TBMT: IB2500328202-00. Bên mời thầu: CÔNG TY THỦY ĐIỆN SƠN LA - CHI NHÁNH TẬP ĐOÀN ĐIỆN LỰC VIỆT NAM . Đóng thầu: 15:00 06/08/25Thứ hai - 28/07/2025 05:31
Số TBMT: IB2500328171-00. Bên mời thầu: Bệnh viện Phổi Thanh Hóa. Đóng thầu: 16:00 06/08/25Thứ hai - 28/07/2025 05:31
Số TBMT: IB2500327835-00. Bên mời thầu: Bệnh viện Phong Da liễu Trung ương Quỳnh Lập. Đóng thầu: 08:30 02/08/25Thứ hai - 28/07/2025 05:30
Số TBMT: IB2500324358-01. Bên mời thầu: CÔNG TY TRÁCH NHIỆM HỮU HẠN MỘT THÀNH VIÊN CAO SU HÀ TĨNH. Đóng thầu: 09:00 01/08/25Thứ hai - 28/07/2025 05:30
Số TBMT: IB2500326526-00. Bên mời thầu: Trường Cao đẳng Y tế tỉnh Bà Rịa Vũng Tàu. Đóng thầu: 09:00 07/08/25Thứ hai - 28/07/2025 05:29
Số TBMT: IB2500328190-00. Bên mời thầu: Bệnh viện Răng Hàm Mặt Trung ương Hà Nội. Đóng thầu: 14:00 08/08/25Thứ hai - 28/07/2025 05:28
Số TBMT: IB2500325939-00. Bên mời thầu: Tổng Công ty Hạ tầng mạng - VNPT Net. Đóng thầu: 10:00 15/08/25Thứ hai - 28/07/2025 05:28
Số TBMT: IB2500315627-01. Bên mời thầu: TỔNG CÔNG TY CÔNG NGHIỆP HÓA CHẤT MỎ - VINACOMIN (TNHH 1TV). Đóng thầu: 09:30 08/08/25Thứ hai - 28/07/2025 04:42
Số KHLCNT: PL2500177948-00. Chủ đầu tư: Công ty Điện lực Hà Đông. Ngày đăng tải: 15:42 28/07/25Thứ hai - 28/07/2025 04:42
Số KHLCNT: PL2500177960-00. Chủ đầu tư: Bệnh viện đa khoa huyện Ba Vì. Ngày đăng tải: 15:42 28/07/25Thứ hai - 28/07/2025 04:41
Số KHLCNT: PL2500177969-00. Chủ đầu tư: Trường Cao Đẳng Kinh Tế Tp. HCM. Ngày đăng tải: 15:41 28/07/25Thứ hai - 28/07/2025 04:41
Số KHLCNT: PL2500177966-00. Chủ đầu tư: Bệnh viện Quận Bình Thạnh. Ngày đăng tải: 15:41 28/07/25Thứ hai - 28/07/2025 04:41
Số KHLCNT: PL2500177961-00. Chủ đầu tư: Công ty TNHH Một thành viên Lâm nghiệp Ia H'Drai. Ngày đăng tải: 15:41 28/07/25