REPgiúp webmaster điều hướng hoạt động của robot (hay còn gọi là crawler, spider- phần mềm dò tìm dữ liệu của các cỗ máy tìm kiếm) đối với website của mình. Webmaster có thể dùng file Robots.txt để ngăn chặn robot xâm nhập các thư mục và file trên server của mình và thẻ Meta Robots giúp ngăn chặn robots ở cấp độ từng trang riêng lẻ.
Về Robots.txt, cả 3 đại gia tìm kiếm đều hỗ trợ các chỉ dẫn (directive) sau:
Về thẻ Meta Robots, cả Google, Yahoo! và Microsoft đều thỏa thuận:
Thực ra Giao thức ngăn chặn Robots - REPđã được hiểu ngầm là 1 tiêu chuẩn chưa chính thức (de-facto standard) của các cỗ máy tìm kiếm từ những năm 1990. Tuy nhiên đây là lần đầu tiên Google, Yahoo! và Microsoft “cộng tác” (collaborating) hay “làm việc với nhau” (working together) về REP, mặc dù họ chưa xây dựng nên 1 tiêu chuẩn mới (như đã từng dựng trang Sitemaps.org năm 2006 hướng dẫn Sitemap cho website) mà chỉ mới tuyên bố trên blog của họ.
(Theo Blog Google, Yahoo! và Microsoft)
* Các bạn vui lòng tham khảo chi tiết tại:
Những tin mới hơn
Những tin cũ hơn
Tên gọi: NukeViet phát âm là [Nu-Ke-Việt], đây là cách đọc riêng, không phải là cách phát âm chuẩn của tiếng Anh. Ý nghĩa: NukeViet là từ ghép từ chữ Nuke và Việt Nam. Sở dĩ có tên gọi này là vì phiên bản 1.0 và 2.0 của NukeViet được phát triển từ mã nguồn mở PHP-Nuke. Mặc dù từ phiên bản 3.0,...
Thứ sáu - 10/10/2025 05:18
Số TBMT: IB2500446463-00. Bên mời thầu: NHÀ MÁY Z119/QUÂN CHỦNG PKKQ. Đóng thầu: 10:00 21/10/25Thứ sáu - 10/10/2025 05:17
Số TBMT: IB2500435975-01. Bên mời thầu: CÔNG TY ĐIỆN LỰC HẢI PHÒNG - CHI NHÁNH TỔNG CÔNG TY ĐIỆN LỰC MIỀN BẮC. Đóng thầu: 10:00 16/10/25Thứ sáu - 10/10/2025 05:16
Số TBMT: IB2500447671-00. Bên mời thầu: Trung tâm Y tế Tuần Giáo. Đóng thầu: 09:00 20/10/25Thứ sáu - 10/10/2025 05:14
Số TBMT: IB2500448140-00. Bên mời thầu: Trường Đại học Y khoa Phạm Ngọc Thạch. Đóng thầu: 10:00 21/10/25Thứ sáu - 10/10/2025 05:14
Số TBMT: IB2500440353-00. Bên mời thầu: Chi nhánh Tổng công ty Điện lực TP.HCM TNHH – Công ty Điện lực Chợ Lớn. Đóng thầu: 09:30 20/10/25Thứ sáu - 10/10/2025 05:14
Số TBMT: IB2500446433-00. Bên mời thầu: Học viện Tư pháp. Đóng thầu: 10:00 20/10/25Thứ sáu - 10/10/2025 05:11
Số TBMT: IB2500447383-00. Bên mời thầu: TRƯỜNG ĐẠI HỌC TÔN ĐỨC THẮNG. Đóng thầu: 09:00 21/10/25Thứ sáu - 10/10/2025 05:08
Số TBMT: IB2500433183-01. Bên mời thầu: Công an tỉnh Hưng Yên. Đóng thầu: 16:30 16/10/25Thứ sáu - 10/10/2025 05:08
Số TBMT: IB2500418574-00. Bên mời thầu: CÔNG TY TNHH MỘT THÀNH VIÊN VẬN HÀNH HỆ THỐNG ĐIỆN VÀ THỊ TRƯỜNG ĐIỆN QUỐC GIA. Đóng thầu: 15:00 21/10/25Thứ sáu - 10/10/2025 05:07
Số TBMT: IB2500408606-01. Bên mời thầu: CÔNG TY ĐIỆN LỰC ĐỒNG NAI – CHI NHÁNH TỔNG CÔNG TY ĐIỆN LỰC MIỀN NAM TNHH. Đóng thầu: 10:00 16/10/25Thứ sáu - 10/10/2025 05:19
Số KHLCNT: PL2500251591-00. Chủ đầu tư: NGÂN HÀNG THƯƠNG MẠI CỔ PHẦN ĐẦU TƯ VÀ PHÁT TRIỂN VIỆT NAM-CHI NHÁNH QUẢNG BÌNH. Ngày đăng tải: 16:19 10/10/25Thứ sáu - 10/10/2025 05:19
Số KHLCNT: PL2500251577-00. Chủ đầu tư: Nhà máy A31. Ngày đăng tải: 16:19 10/10/25Thứ sáu - 10/10/2025 05:19
Số KHLCNT: PL2500251546-00. Chủ đầu tư: Tòa án nhân dân tỉnh Đồng Tháp. Ngày đăng tải: 16:19 10/10/25Thứ sáu - 10/10/2025 05:18
Số KHLCNT: PL2500251588-00. Chủ đầu tư: Trung tâm Dịch vụ tổng hợp xã Định Hoá. Ngày đăng tải: 16:18 10/10/25Thứ sáu - 10/10/2025 05:18
Số KHLCNT: PL2500251572-00. Chủ đầu tư: Cục Y tế, Bộ Công An. Ngày đăng tải: 16:18 10/10/25