REPgiúp webmaster điều hướng hoạt động của robot (hay còn gọi là crawler, spider- phần mềm dò tìm dữ liệu của các cỗ máy tìm kiếm) đối với website của mình. Webmaster có thể dùng file Robots.txt để ngăn chặn robot xâm nhập các thư mục và file trên server của mình và thẻ Meta Robots giúp ngăn chặn robots ở cấp độ từng trang riêng lẻ.
Về Robots.txt, cả 3 đại gia tìm kiếm đều hỗ trợ các chỉ dẫn (directive) sau:
Về thẻ Meta Robots, cả Google, Yahoo! và Microsoft đều thỏa thuận:
Thực ra Giao thức ngăn chặn Robots - REPđã được hiểu ngầm là 1 tiêu chuẩn chưa chính thức (de-facto standard) của các cỗ máy tìm kiếm từ những năm 1990. Tuy nhiên đây là lần đầu tiên Google, Yahoo! và Microsoft “cộng tác” (collaborating) hay “làm việc với nhau” (working together) về REP, mặc dù họ chưa xây dựng nên 1 tiêu chuẩn mới (như đã từng dựng trang Sitemaps.org năm 2006 hướng dẫn Sitemap cho website) mà chỉ mới tuyên bố trên blog của họ.
(Theo Blog Google, Yahoo! và Microsoft)
* Các bạn vui lòng tham khảo chi tiết tại:
Những tin mới hơn
Những tin cũ hơn
1. Môi trường máy chủ Yêu cầu bắt buộc Hệ điều hành: Unix (Linux, Ubuntu, Fedora …) hoặc Windows PHP: PHP 5.4 hoặc phiên bản mới nhất. MySQL: MySQL 5.5 hoặc phiên bản mới nhất Tùy chọn bổ sung Máy chủ Apache cần hỗ trợ mod mod_rewrite. Máy chủ Nginx cấu hình các thông...
Thứ ba - 21/05/2024 21:23
Số TBMT: IB2400134470-00. Bên mời thầu: CÔNG TY TNHH THƯƠNG MẠI DỊCH VỤ VIỆT TRÍ TÍN. Đóng thầu: 09:00 29/05/24Thứ ba - 21/05/2024 21:23
Số TBMT: IB2400134588-00. Bên mời thầu: CÔNG TY TNHH THƯƠNG MẠI DỊCH VỤ VIỆT TRÍ TÍN. Đóng thầu: 09:00 29/05/24Thứ ba - 21/05/2024 21:22
Số TBMT: IB2400134666-01. Bên mời thầu: Ban Quản lý dự án đầu tư xây dựng khu vực huyện Củ Chi. Đóng thầu: 14:00 31/05/24Thứ ba - 21/05/2024 21:22
Số TBMT: IB2400134714-01. Bên mời thầu: Ban Quản lý dự án đầu tư xây dựng khu vực huyện Củ Chi. Đóng thầu: 14:10 31/05/24Thứ ba - 21/05/2024 21:21
Số TBMT: IB2400134701-01. Bên mời thầu: Ban Quản lý dự án đầu tư xây dựng khu vực huyện Củ Chi. Đóng thầu: 14:05 31/05/24Thứ ba - 21/05/2024 21:20
Số TBMT: IB2400133274-00. Bên mời thầu: CÔNG TY TNHH THƯƠNG MẠI DỊCH VỤ VIỆT TRÍ TÍN. Đóng thầu: 09:00 29/05/24Thứ ba - 21/05/2024 21:15
Số TBMT: IB2400134148-00. Bên mời thầu: Ban quản lý nghĩa trang liệt sĩ. Đóng thầu: 08:00 29/05/24Thứ ba - 21/05/2024 21:15
Số TBMT: IB2400134444-00. Bên mời thầu: Ban quản lý dự án đầu tư xây dựng huyện Như Xuân. Đóng thầu: 09:00 29/05/24Thứ ba - 21/05/2024 21:11
Số TBMT: IB2400134834-00. Bên mời thầu: Trung tâm Công nghệ thông tin và Truyền thông. Đóng thầu: 08:30 29/05/24Thứ ba - 21/05/2024 21:11
Số TBMT: IB2400128790-01. Bên mời thầu: UỶ BAN NHÂN DÂN XÃ ĐƯỜNG THƯỢNG. Đóng thầu: 08:00 28/05/24Thứ ba - 21/05/2024 21:28
Số KHLCNT: PL2400086375-00. Chủ đầu tư: CHI NHÁNH TẬP ĐOÀN CÔNG NGHIỆP THAN-KHOÁNG SẢN VIỆT NAM - CÔNG TY TUYỂN THAN CỬA ÔNG - TKV. Công bố: 08:28 22/05/24Thứ ba - 21/05/2024 21:27
Số KHLCNT: PL2400086382-00. Chủ đầu tư: Trung tâm Kiểm soát bệnh tật tỉnh Quảng Trị. Công bố: 08:27 22/05/24Thứ ba - 21/05/2024 21:27
Số KHLCNT: PL2400031173-01. Chủ đầu tư: Phòng Tài nguyên và Môi trường huyện Hồng Ngự. Công bố: 08:27 22/05/24Thứ ba - 21/05/2024 21:26
Số KHLCNT: PL2400084708-01. Chủ đầu tư: Sở Giáo dục và Đào tạo Bình Thuận. Công bố: 08:26 22/05/24Thứ ba - 21/05/2024 21:26
Số KHLCNT: PL2400086388-00. Chủ đầu tư: Sở Kế hoạch và Đầu tư thành phố Đà Nẵng. Công bố: 08:26 22/05/24