REPgiúp webmaster điều hướng hoạt động của robot (hay còn gọi là crawler, spider- phần mềm dò tìm dữ liệu của các cỗ máy tìm kiếm) đối với website của mình. Webmaster có thể dùng file Robots.txt để ngăn chặn robot xâm nhập các thư mục và file trên server của mình và thẻ Meta Robots giúp ngăn chặn robots ở cấp độ từng trang riêng lẻ.
Về Robots.txt, cả 3 đại gia tìm kiếm đều hỗ trợ các chỉ dẫn (directive) sau:
Về thẻ Meta Robots, cả Google, Yahoo! và Microsoft đều thỏa thuận:
Thực ra Giao thức ngăn chặn Robots - REPđã được hiểu ngầm là 1 tiêu chuẩn chưa chính thức (de-facto standard) của các cỗ máy tìm kiếm từ những năm 1990. Tuy nhiên đây là lần đầu tiên Google, Yahoo! và Microsoft “cộng tác” (collaborating) hay “làm việc với nhau” (working together) về REP, mặc dù họ chưa xây dựng nên 1 tiêu chuẩn mới (như đã từng dựng trang Sitemaps.org năm 2006 hướng dẫn Sitemap cho website) mà chỉ mới tuyên bố trên blog của họ.
(Theo Blog Google, Yahoo! và Microsoft)
* Các bạn vui lòng tham khảo chi tiết tại:
Những tin mới hơn
Những tin cũ hơn
Bản dịch tiếng Việt của Giấy phép Công cộng GNU Người dịch Đặng Minh Tuấn <dangtuan@vietkey.net> Đây là bản dịch tiếng Việt không chính thức của Giấy phép Công cộng GNU. Bản dịch này không phải do Tổ chức Phần mềm Tự do ấn hành, và nó không quy định về mặt pháp lý các điều khoản cho các...
Thứ sáu - 19/04/2024 03:40
Số TBMT: IB2400091910-00. Bên mời thầu: Trường Đại học Hùng Vương. Đóng thầu: 16:00 26/04/24Thứ sáu - 19/04/2024 03:40
Số TBMT: IB2400056820-00. Bên mời thầu: NGÂN HÀNG THƯƠNG MẠI CỔ PHẦN ĐẦU TƯ VÀ PHÁT TRIỂN VIỆT NAM. Đóng thầu: 10:00 03/05/24Thứ sáu - 19/04/2024 03:40
Số TBMT: IB2400091891-00. Bên mời thầu: LỮ ĐOÀN 682. Đóng thầu: 15:00 28/04/24Thứ sáu - 19/04/2024 03:40
Số TBMT: IB2400081007-01. Bên mời thầu: XÍ NGHIỆP KHO VẬN XĂNG DẦU K130. Đóng thầu: 15:00 26/04/24Thứ sáu - 19/04/2024 03:39
Số TBMT: IB2400090887-00. Bên mời thầu: Khu Quản lý đường bộ III. Đóng thầu: 09:00 07/05/24Thứ sáu - 19/04/2024 03:38
Số TBMT: IB2400091286-00. Bên mời thầu: Phòng Nông nghiệp và Phát triển nông thôn huyện Bảo Lạc, tỉnh Cao Bằng. Đóng thầu: 16:15 26/04/24Thứ sáu - 19/04/2024 03:38
Số TBMT: IB2400076090-00. Bên mời thầu: TỔNG CÔNG TY MẠNG LƯỚI VIETTEL - CHI NHÁNH TẬP ĐOÀN CÔNG NGHIỆP - VIỄN THÔNG QUÂN ĐỘI. Đóng thầu: 16:00 02/05/24Thứ sáu - 19/04/2024 03:38
Số TBMT: IB2400091336-00. Bên mời thầu: Học viện Nông nghiệp Việt Nam. Đóng thầu: 15:00 26/04/24Thứ sáu - 19/04/2024 03:37
Số TBMT: IB2400091976-00. Bên mời thầu: CÔNG TY CỔ PHẦN TƯ VẤN GIÁM SÁT, KIỂM ĐỊNH XÂY DỰNG. Đóng thầu: 08:15 26/04/24Thứ sáu - 19/04/2024 03:37
Số TBMT: IB2400091947-00. Bên mời thầu: BỆNH VIỆN ĐA KHOA TỈNH QUẢNG NINH. Đóng thầu: 14:00 02/05/24Thứ sáu - 19/04/2024 09:57
Số KHLCNT: PL2400060212-00. Chủ đầu tư: CHI NHÁNH TỔNG CÔNG TY DẦU VIỆT NAM - CÔNG TY CỔ PHẦN - XÍ NGHIỆP TỔNG KHO XĂNG DẦU NHÀ BÈ. Công bố: 14:57 19/04/24Thứ sáu - 19/04/2024 09:56
Số KHLCNT: PL2400060215-00. Chủ đầu tư: Trường Sĩ quan Chính trị/ Bộ Quốc phòng. Công bố: 14:56 19/04/24Thứ sáu - 19/04/2024 09:55
Số KHLCNT: PL2400060179-00. Chủ đầu tư: UBND XÃ NHƠN SƠN. Công bố: 14:55 19/04/24Thứ sáu - 19/04/2024 09:54
Số KHLCNT: PL2400060063-00. Chủ đầu tư: UBND xã Thạnh Trị. Công bố: 14:54 19/04/24Thứ sáu - 19/04/2024 09:54
Số KHLCNT: PL2400060203-00. Chủ đầu tư: Bệnh viện đa khoa khu vực Tân Châu. Công bố: 14:54 19/04/24