REPgiúp webmaster điều hướng hoạt động của robot (hay còn gọi là crawler, spider- phần mềm dò tìm dữ liệu của các cỗ máy tìm kiếm) đối với website của mình. Webmaster có thể dùng file Robots.txt để ngăn chặn robot xâm nhập các thư mục và file trên server của mình và thẻ Meta Robots giúp ngăn chặn robots ở cấp độ từng trang riêng lẻ.
Về Robots.txt, cả 3 đại gia tìm kiếm đều hỗ trợ các chỉ dẫn (directive) sau:
Về thẻ Meta Robots, cả Google, Yahoo! và Microsoft đều thỏa thuận:
Thực ra Giao thức ngăn chặn Robots - REPđã được hiểu ngầm là 1 tiêu chuẩn chưa chính thức (de-facto standard) của các cỗ máy tìm kiếm từ những năm 1990. Tuy nhiên đây là lần đầu tiên Google, Yahoo! và Microsoft “cộng tác” (collaborating) hay “làm việc với nhau” (working together) về REP, mặc dù họ chưa xây dựng nên 1 tiêu chuẩn mới (như đã từng dựng trang Sitemaps.org năm 2006 hướng dẫn Sitemap cho website) mà chỉ mới tuyên bố trên blog của họ.
(Theo Blog Google, Yahoo! và Microsoft)
* Các bạn vui lòng tham khảo chi tiết tại:
Những tin mới hơn
Những tin cũ hơn
1. Ủng hộ bằng tiền mặt vào Quỹ tài trợ NukeViet Qua tài khoản Paypal: Chuyển khoản ngân hàng trực tiếp: Người đứng tên tài khoản: NGUYEN THE HUNG Số tài khoản: 0031000792053 Loại tài khoản: VND (Việt Nam Đồng) Ngân hàng Vietcombank chi nhánh Hải...
Thứ tư - 24/04/2024 19:40
Số TBMT: IB2400095133-00. Bên mời thầu: Sư đoàn PK 367. Đóng thầu: 07:30 04/05/24Thứ tư - 24/04/2024 12:36
Số TBMT: IB2400098881-00. Bên mời thầu: BAN QUẢN LÝ DỰ ÁN ĐẦU TƯ XÂY DỰNG KHU VỰC HUYỆN PHONG ĐIỀN. Đóng thầu: 09:00 03/05/24Thứ tư - 24/04/2024 12:28
Số TBMT: IB2400098885-00. Bên mời thầu: CÔNG TY TRÁCH NHIỆM HỮU HẠN MỘT THÀNH VIÊN TƯ VẤN XÂY DỰNG CAO HUỲNH PHÁT. Đóng thầu: 14:00 13/05/24Thứ tư - 24/04/2024 12:28
Số TBMT: IB2400079835-01. Bên mời thầu: CÔNG TY CP TẬP ĐOÀN XÂY DỰNG MIỀN TÂY. Đóng thầu: 06:00 05/05/24Thứ tư - 24/04/2024 12:25
Số TBMT: IB2400079129-01. Bên mời thầu: CÔNG TY CP TẬP ĐOÀN XÂY DỰNG MIỀN TÂY. Đóng thầu: 08:00 05/05/24Thứ tư - 24/04/2024 11:58
Số TBMT: IB2400098630-00. Bên mời thầu: Công ty truyền tải điện 1 - Truyền tải điện Thanh Hóa. Đóng thầu: 10:00 06/05/24Thứ tư - 24/04/2024 11:40
Số TBMT: IB2400096259-00. Bên mời thầu: Bệnh viện Vũng Tàu. Đóng thầu: 08:00 03/05/24Thứ tư - 24/04/2024 11:39
Số TBMT: IB2400090843-00. Bên mời thầu: CÔNG TY TNHH TƯ VẤN TỔNG HỢP NHẬT HUY. Đóng thầu: 10:00 07/05/24Thứ tư - 24/04/2024 11:38
Số TBMT: IB2400098196-00. Bên mời thầu: Bệnh viện Vũng Tàu. Đóng thầu: 08:05 03/05/24Thứ tư - 24/04/2024 11:38
Số TBMT: IB2400098334-00. Bên mời thầu: Bệnh viện Vũng Tàu. Đóng thầu: 08:10 03/05/24Thứ tư - 24/04/2024 20:17
Số KHLCNT: PL2400064776-00. Chủ đầu tư: Liên doanh Việt-Nga Vietsovpetro. Công bố: 07:17 25/04/24Thứ tư - 24/04/2024 20:09
Số KHLCNT: PL2400064775-00. Chủ đầu tư: Kho KV1/Cục Quân khí/ Tổng cục Kỹ thuật. Công bố: 07:09 25/04/24Thứ tư - 24/04/2024 20:07
Số KHLCNT: PL2400064774-00. Chủ đầu tư: BỆNH VIỆN Y HỌC CỔ TRUYỀN, BỘ CÔNG AN. Công bố: 07:07 25/04/24Thứ tư - 24/04/2024 20:03
Số KHLCNT: PL2400064773-01. Chủ đầu tư: Bệnh viện Đa khoa tỉnh Hà Tĩnh. Công bố: 07:03 25/04/24Thứ tư - 24/04/2024 20:00
Số KHLCNT: PL2400064773-00. Chủ đầu tư: Bệnh viện Đa khoa tỉnh Hà Tĩnh. Công bố: 07:00 25/04/24