REPgiúp webmaster điều hướng hoạt động của robot (hay còn gọi là crawler, spider- phần mềm dò tìm dữ liệu của các cỗ máy tìm kiếm) đối với website của mình. Webmaster có thể dùng file Robots.txt để ngăn chặn robot xâm nhập các thư mục và file trên server của mình và thẻ Meta Robots giúp ngăn chặn robots ở cấp độ từng trang riêng lẻ.
Về Robots.txt, cả 3 đại gia tìm kiếm đều hỗ trợ các chỉ dẫn (directive) sau:
Về thẻ Meta Robots, cả Google, Yahoo! và Microsoft đều thỏa thuận:
Thực ra Giao thức ngăn chặn Robots - REPđã được hiểu ngầm là 1 tiêu chuẩn chưa chính thức (de-facto standard) của các cỗ máy tìm kiếm từ những năm 1990. Tuy nhiên đây là lần đầu tiên Google, Yahoo! và Microsoft “cộng tác” (collaborating) hay “làm việc với nhau” (working together) về REP, mặc dù họ chưa xây dựng nên 1 tiêu chuẩn mới (như đã từng dựng trang Sitemaps.org năm 2006 hướng dẫn Sitemap cho website) mà chỉ mới tuyên bố trên blog của họ.
(Theo Blog Google, Yahoo! và Microsoft)
* Các bạn vui lòng tham khảo chi tiết tại:
Những tin mới hơn
Những tin cũ hơn
Tên gọi: NukeViet phát âm là [Nu-Ke-Việt], đây là cách đọc riêng, không phải là cách phát âm chuẩn của tiếng Anh. Ý nghĩa: NukeViet là từ ghép từ chữ Nuke và Việt Nam. Sở dĩ có tên gọi này là vì phiên bản 1.0 và 2.0 của NukeViet được phát triển từ mã nguồn mở PHP-Nuke. Mặc dù từ phiên bản 3.0,...
Thứ tư - 10/09/2025 17:44
Số TBMT: IB2500390880-00. Bên mời thầu: Trường Trung học cơ sở Trần Văn Ơn. Đóng thầu: 08:00 19/09/25Thứ tư - 10/09/2025 17:25
Số TBMT: IB2500382573-00. Bên mời thầu: Trường Dự bị Đại học Dân tộc Trung ương. Đóng thầu: 08:30 19/09/25Thứ tư - 10/09/2025 17:11
Số TBMT: IB2500390831-00. Bên mời thầu: Trường Trung học cơ sở Trần Văn Ơn. Đóng thầu: 08:00 19/09/25Thứ tư - 10/09/2025 16:51
Số TBMT: IB2500390159-00. Bên mời thầu: Chi cục Thủy lợi tỉnh Đồng Tháp. Đóng thầu: 08:00 29/09/25Thứ tư - 10/09/2025 16:39
Số TBMT: IB2500362713-00. Bên mời thầu: CÔNG TY ĐIỆN LỰC QUẢNG NINH - CHI NHÁNH TỔNG CÔNG TY ĐIỆN LỰC MIỀN BẮC. Đóng thầu: 09:30 19/09/25Thứ tư - 10/09/2025 16:25
Số TBMT: IB2500390759-00. Bên mời thầu: CÔNG TY ĐIỆN LỰC NGHỆ AN - CHI NHÁNH TỔNG CÔNG TY ĐIỆN LỰC MIỀN BẮC. Đóng thầu: 15:00 20/09/25Thứ tư - 10/09/2025 16:18
Số TBMT: IB2500388764-00. Bên mời thầu: Ban quản lý dự án đầu tư - hạ tầng xã Thư Lâm. Đóng thầu: 10:00 29/09/25Thứ tư - 10/09/2025 16:09
Số TBMT: IB2500388198-00. Bên mời thầu: CÔNG TY ĐIỆN LỰC LÀO CAI - CHI NHÁNH TỔNG CÔNG TY ĐIỆN LỰC MIỀN BẮC. Đóng thầu: 08:00 19/09/25Thứ tư - 10/09/2025 16:09
Số TBMT: IB2500386224-00. Bên mời thầu: CHI NHÁNH TỔNG CÔNG TY ĐIỆN LỰC MIỀN NAM TNHH - CÔNG TY CÔNG NGHỆ THÔNG TIN ĐIỆN LỰC MIỀN NAM. Đóng thầu: 08:00 29/09/25Thứ tư - 10/09/2025 16:03
Số TBMT: IB2500363844-01. Bên mời thầu: Bệnh viện Bưu Điện. Đóng thầu: 09:00 16/09/25Thứ tư - 10/09/2025 14:09
Số KHLCNT: PL2500199363-01. Chủ đầu tư: Trường Mầm non 30-4. Ngày đăng tải: 01:09 11/09/25Thứ tư - 10/09/2025 13:36
Số KHLCNT: PL2500217604-00. Chủ đầu tư: CHI NHÁNH TỔNG CÔNG TY ĐIỆN LỰC MIỀN NAM TNHH - CÔNG TY CÔNG NGHỆ THÔNG TIN ĐIỆN LỰC MIỀN NAM. Ngày đăng tải: 00:36 11/09/25Thứ tư - 10/09/2025 13:17
Số KHLCNT: PL2500217603-00. Chủ đầu tư: TRƯỜNG MẦM NON VĨNH KIÊN. Ngày đăng tải: 00:17 11/09/25Thứ tư - 10/09/2025 13:14
Số KHLCNT: PL2500217602-00. Chủ đầu tư: Trường mầm non Tân Đồng. Ngày đăng tải: 00:14 11/09/25Thứ tư - 10/09/2025 12:49
Số KHLCNT: PL2500217601-00. Chủ đầu tư: Trường tiểu học Thanh Thuỳ. Ngày đăng tải: 23:49 10/09/25