REPgiúp webmaster điều hướng hoạt động của robot (hay còn gọi là crawler, spider- phần mềm dò tìm dữ liệu của các cỗ máy tìm kiếm) đối với website của mình. Webmaster có thể dùng file Robots.txt để ngăn chặn robot xâm nhập các thư mục và file trên server của mình và thẻ Meta Robots giúp ngăn chặn robots ở cấp độ từng trang riêng lẻ.
Về Robots.txt, cả 3 đại gia tìm kiếm đều hỗ trợ các chỉ dẫn (directive) sau:
Về thẻ Meta Robots, cả Google, Yahoo! và Microsoft đều thỏa thuận:
Thực ra Giao thức ngăn chặn Robots - REPđã được hiểu ngầm là 1 tiêu chuẩn chưa chính thức (de-facto standard) của các cỗ máy tìm kiếm từ những năm 1990. Tuy nhiên đây là lần đầu tiên Google, Yahoo! và Microsoft “cộng tác” (collaborating) hay “làm việc với nhau” (working together) về REP, mặc dù họ chưa xây dựng nên 1 tiêu chuẩn mới (như đã từng dựng trang Sitemaps.org năm 2006 hướng dẫn Sitemap cho website) mà chỉ mới tuyên bố trên blog của họ.
(Theo Blog Google, Yahoo! và Microsoft)
* Các bạn vui lòng tham khảo chi tiết tại:
Những tin mới hơn
Những tin cũ hơn
Giới thiệu chung Mã nguồn mở NukeViet là sản phẩm của sự làm việc chuyên nghiệp: Để xây dựng lên NukeViet 4, đội ngũ phát triển đã thành lập công ty VINADES.,JSC. Trong quá trình phát triển NukeViet 4, VINADES.,JSC đã hợp tác với nhiều đơn vị cung cấp hosting trong và ngoài nước để thử nghiệm host,...
Thứ sáu - 14/03/2025 07:36
Số TBMT: IB2500014437-00. Bên mời thầu: CÔNG TY CỔ PHẦN THỦY ĐIỆN THÁC MƠ. Đóng thầu: 13:00 25/03/25Thứ sáu - 14/03/2025 07:34
Số TBMT: IB2500047675-02. Bên mời thầu: CHI NHÁNH ĐIỀU HÀNH DẦU KHÍ TRONG NƯỚC - CÔNG TY TRÁCH NHIỆM HỮU HẠN -TỔNG CÔNG TY THĂM DÒ KHAI THÁC DẦU KHÍ. Đóng thầu: 10:00 28/03/25Thứ sáu - 14/03/2025 07:30
Số TBMT: IB2500088415-00. Bên mời thầu: Viễn Thông Đồng Nai - Tập đoàn Bưu chính Viễn thông Việt Nam. Đóng thầu: 13:00 21/03/25Thứ sáu - 14/03/2025 07:30
Số TBMT: IB2500047675-01. Bên mời thầu: CHI NHÁNH ĐIỀU HÀNH DẦU KHÍ TRONG NƯỚC - CÔNG TY TRÁCH NHIỆM HỮU HẠN -TỔNG CÔNG TY THĂM DÒ KHAI THÁC DẦU KHÍ. Đóng thầu: 10:00 21/03/25Thứ sáu - 14/03/2025 07:29
Số TBMT: IB2500088478-00. Bên mời thầu: Viễn Thông Đồng Nai - Tập đoàn Bưu chính Viễn thông Việt Nam. Đóng thầu: 13:00 21/03/25Thứ sáu - 14/03/2025 07:23
Số TBMT: IB2500047683-01. Bên mời thầu: CHI NHÁNH ĐIỀU HÀNH DẦU KHÍ TRONG NƯỚC - CÔNG TY TRÁCH NHIỆM HỮU HẠN -TỔNG CÔNG TY THĂM DÒ KHAI THÁC DẦU KHÍ. Đóng thầu: 10:00 21/03/25Thứ sáu - 14/03/2025 07:21
Số TBMT: IB2500050327-02. Bên mời thầu: CHI NHÁNH ĐIỀU HÀNH DẦU KHÍ TRONG NƯỚC - CÔNG TY TRÁCH NHIỆM HỮU HẠN -TỔNG CÔNG TY THĂM DÒ KHAI THÁC DẦU KHÍ. Đóng thầu: 10:00 25/03/25Thứ sáu - 14/03/2025 07:21
Số TBMT: IB2500047691-02. Bên mời thầu: CHI NHÁNH ĐIỀU HÀNH DẦU KHÍ TRONG NƯỚC - CÔNG TY TRÁCH NHIỆM HỮU HẠN -TỔNG CÔNG TY THĂM DÒ KHAI THÁC DẦU KHÍ. Đóng thầu: 10:00 21/03/25Thứ sáu - 14/03/2025 06:41
Số TBMT: IB2500089160-00. Bên mời thầu: Liên doanh Việt-Nga Vietsovpetro. Đóng thầu: 09:00 25/03/25Thứ sáu - 14/03/2025 06:29
Số TBMT: IB2500089117-00. Bên mời thầu: Sư đoàn 361/Quân chủng Phòng không - Không quân. Đóng thầu: 08:30 21/03/25Thứ sáu - 14/03/2025 07:40
Số KHLCNT: PL2500046873-00. Chủ đầu tư: CHI NHÁNH PHÁT ĐIỆN DẦU KHÍ - TẬP ĐOÀN DẦU KHÍ VIỆT NAM. Ngày đăng tải: 13:40 14/03/25Thứ sáu - 14/03/2025 07:39
Số KHLCNT: PL2500046879-00. Chủ đầu tư: CÔNG TY DỊCH VỤ SỬA CHỮA CÁC NHÀ MÁY ĐIỆN - CHI NHÁNH TỔNG CÔNG TY PHÁT ĐIỆN 3 - CÔNG TY CỔ PHẦN. Ngày đăng tải: 13:39 14/03/25Thứ sáu - 14/03/2025 07:38
Số KHLCNT: PL2500046869-00. Ngày đăng tải: 13:38 14/03/25Thứ sáu - 14/03/2025 07:37
Số KHLCNT: PL2400336084-01. Chủ đầu tư: CÔNG TY TNHH MỘT THÀNH VIÊN PHÁT TRIỂN CÔNG VIÊN PHẦN MỀM QUANG TRUNG. Ngày đăng tải: 13:37 14/03/25Thứ sáu - 14/03/2025 07:37
Số KHLCNT: PL2500046781-00. Chủ đầu tư: Uỷ ban nhân dân phường Cộng Hoà. Ngày đăng tải: 13:37 14/03/25