
REPgiúp webmaster điều hướng hoạt động của robot (hay còn gọi là crawler, spider- phần mềm dò tìm dữ liệu của các cỗ máy tìm kiếm) đối với website của mình. Webmaster có thể dùng file Robots.txt để ngăn chặn robot xâm nhập các thư mục và file trên server của mình và thẻ Meta Robots giúp ngăn chặn robots ở cấp độ từng trang riêng lẻ.
Về Robots.txt, cả 3 đại gia tìm kiếm đều hỗ trợ các chỉ dẫn (directive) sau:
Về thẻ Meta Robots, cả Google, Yahoo! và Microsoft đều thỏa thuận:
Thực ra Giao thức ngăn chặn Robots - REPđã được hiểu ngầm là 1 tiêu chuẩn chưa chính thức (de-facto standard) của các cỗ máy tìm kiếm từ những năm 1990. Tuy nhiên đây là lần đầu tiên Google, Yahoo! và Microsoft “cộng tác” (collaborating) hay “làm việc với nhau” (working together) về REP, mặc dù họ chưa xây dựng nên 1 tiêu chuẩn mới (như đã từng dựng trang Sitemaps.org năm 2006 hướng dẫn Sitemap cho website) mà chỉ mới tuyên bố trên blog của họ.
(Theo Blog Google, Yahoo! và Microsoft)
* Các bạn vui lòng tham khảo chi tiết tại:
Những tin mới hơn
Những tin cũ hơn
CMS là gì? CMS là từ viết tắt từ Content Management System. Theo wikipedia Định nghĩa. Hệ quản trị nội dung, cũng được gọi là hệ thống quản lý nội dung hay CMS (từ Content Management System của tiếng Anh) là phần mềm để tổ chức và tạo môi trường cộng tác thuận lợi nhằm mục đích xây dựng một hệ...
Thứ sáu - 31/10/2025 02:26
Số TBMT: IB2500464976-00. Bên mời thầu: CÔNG TY ĐIỆN LỰC QUẢNG NINH - CHI NHÁNH TỔNG CÔNG TY ĐIỆN LỰC MIỀN BẮC. Đóng thầu: 09:00 11/11/25Thứ sáu - 31/10/2025 02:22
Số TBMT: IB2500445401-00. Bên mời thầu: CÔNG TY NHIỆT ĐIỆN NA DƯƠNG - TKV - CHI NHÁNH TỔNG CÔNG TY ĐIỆN LỰC TKV - CTCP. Đóng thầu: 11:00 20/11/25Thứ sáu - 31/10/2025 02:05
Số TBMT: IB2500435939-00. Bên mời thầu: BỆNH VIỆN NHI TRUNG ƯƠNG. Đóng thầu: 09:00 20/11/25Thứ sáu - 31/10/2025 01:31
Số TBMT: IB2500471762-02. Bên mời thầu: Ban Quản lý dự án xây dựng Quế Võ. Đóng thầu: 08:00 06/11/25Thứ sáu - 31/10/2025 01:06
Số TBMT: IB2500485681-00. Bên mời thầu: Hội LHPN tỉnh Thái Nguyên dự án N-VNM-2022-0360. Đóng thầu: 15:00 11/11/25Thứ sáu - 31/10/2025 01:04
Số TBMT: IB2500462978-00. Bên mời thầu: TỔNG CÔNG TY TRUYỀN TẢI ĐIỆN QUỐC GIA. Đóng thầu: 09:00 10/11/25Thứ sáu - 31/10/2025 00:58
Số TBMT: IB2500486124-00. Bên mời thầu: TRƯỜNG SĨ QUAN PHÒNG HÓA. Đóng thầu: 07:50 11/11/25Thứ sáu - 31/10/2025 00:57
Số TBMT: IB2500477858-00. Bên mời thầu: Chi cục Hải quan khu vực I. Đóng thầu: 14:00 11/11/25Thứ sáu - 31/10/2025 00:43
Số TBMT: IB2500485960-00. Bên mời thầu: VIỆN SỐT RÉT KÝ SINH TRÙNG CÔN TRÙNG THÀNH PHỐ HỒ CHÍ MINH. Đóng thầu: 14:00 11/11/25Thứ sáu - 31/10/2025 00:42
Số TBMT: IB2500467702-00. Bên mời thầu: Trường trung học cơ sở Quang Phong. Đóng thầu: 10:00 11/11/25Thứ sáu - 31/10/2025 02:29
Số KHLCNT: PL2500275446-00. Chủ đầu tư: CÔNG TY TNHH MỘT THÀNH VIÊN XÂY DỰNG VÀ KINH DOANH NHÀ PHÚ NHUẬN. Ngày đăng tải: 13:29 31/10/25Thứ sáu - 31/10/2025 02:28
Số KHLCNT: PL2500275441-00. Chủ đầu tư: CHI CỤC AN TOÀN THỰC PHẨM NINH BÌNH. Ngày đăng tải: 13:28 31/10/25Thứ sáu - 31/10/2025 02:28
Số KHLCNT: PL2500255770-01. Chủ đầu tư: Công ty Cổ phần Nhiệt điện Hải Phòng. Ngày đăng tải: 13:28 31/10/25Thứ sáu - 31/10/2025 02:27
Số KHLCNT: PL2500275444-00. Chủ đầu tư: Công an tỉnh Hưng Yên. Ngày đăng tải: 13:27 31/10/25Thứ sáu - 31/10/2025 02:26
Số KHLCNT: PL2500269526-01. Chủ đầu tư: Trường Tiểu học Phượng Lâu. Ngày đăng tải: 13:26 31/10/25