REPgiúp webmaster điều hướng hoạt động của robot (hay còn gọi là crawler, spider- phần mềm dò tìm dữ liệu của các cỗ máy tìm kiếm) đối với website của mình. Webmaster có thể dùng file Robots.txt để ngăn chặn robot xâm nhập các thư mục và file trên server của mình và thẻ Meta Robots giúp ngăn chặn robots ở cấp độ từng trang riêng lẻ.
Về Robots.txt, cả 3 đại gia tìm kiếm đều hỗ trợ các chỉ dẫn (directive) sau:
Về thẻ Meta Robots, cả Google, Yahoo! và Microsoft đều thỏa thuận:
Thực ra Giao thức ngăn chặn Robots - REPđã được hiểu ngầm là 1 tiêu chuẩn chưa chính thức (de-facto standard) của các cỗ máy tìm kiếm từ những năm 1990. Tuy nhiên đây là lần đầu tiên Google, Yahoo! và Microsoft “cộng tác” (collaborating) hay “làm việc với nhau” (working together) về REP, mặc dù họ chưa xây dựng nên 1 tiêu chuẩn mới (như đã từng dựng trang Sitemaps.org năm 2006 hướng dẫn Sitemap cho website) mà chỉ mới tuyên bố trên blog của họ.
(Theo Blog Google, Yahoo! và Microsoft)
* Các bạn vui lòng tham khảo chi tiết tại:
Những tin mới hơn
Những tin cũ hơn
Bản dịch tiếng Việt của Giấy phép Công cộng GNU Người dịch Đặng Minh Tuấn <dangtuan@vietkey.net> Đây là bản dịch tiếng Việt không chính thức của Giấy phép Công cộng GNU. Bản dịch này không phải do Tổ chức Phần mềm Tự do ấn hành, và nó không quy định về mặt pháp lý các điều khoản cho các...
Thứ ba - 22/07/2025 15:23
Số TBMT: IB2500323233-00. Bên mời thầu: Chi cục Dự trữ Nhà nước khu vực X. Đóng thầu: 09:00 11/08/25Thứ ba - 22/07/2025 15:21
Số TBMT: IB2500323330-00. Bên mời thầu: Chi cục Dự trữ Nhà nước khu vực VI. Đóng thầu: 09:00 11/08/25Thứ ba - 22/07/2025 15:20
Số TBMT: IB2500323329-00. Bên mời thầu: Chi cục Dự trữ Nhà nước khu vực VI. Đóng thầu: 09:00 11/08/25Thứ ba - 22/07/2025 15:19
Số TBMT: IB2500323229-00. Bên mời thầu: Chi cục Dự trữ Nhà nước khu vực X. Đóng thầu: 09:00 11/08/25Thứ ba - 22/07/2025 15:18
Số TBMT: IB2500323327-00. Bên mời thầu: Chi cục Dự trữ Nhà nước khu vực VI. Đóng thầu: 09:00 11/08/25Thứ ba - 22/07/2025 15:16
Số TBMT: IB2500323325-00. Bên mời thầu: Chi cục Dự trữ Nhà nước khu vực VI. Đóng thầu: 09:00 11/08/25Thứ ba - 22/07/2025 15:14
Số TBMT: IB2500323324-00. Bên mời thầu: Chi cục Dự trữ Nhà nước khu vực VI. Đóng thầu: 09:00 11/08/25Thứ ba - 22/07/2025 15:12
Số TBMT: IB2500323223-00. Bên mời thầu: Chi cục Dự trữ Nhà nước khu vực X. Đóng thầu: 09:00 11/08/25Thứ ba - 22/07/2025 15:12
Số TBMT: IB2500323322-00. Bên mời thầu: Chi cục Dự trữ Nhà nước khu vực VI. Đóng thầu: 09:00 11/08/25Thứ ba - 22/07/2025 15:08
Số TBMT: IB2500323219-00. Bên mời thầu: Chi cục Dự trữ Nhà nước khu vực X. Đóng thầu: 09:00 11/08/25Thứ ba - 22/07/2025 08:01
Số KHLCNT: PL2500175282-00. Chủ đầu tư: Bệnh Viện Phong Da Liễu Trung ương Quy Hòa. Ngày đăng tải: 19:01 22/07/25Thứ ba - 22/07/2025 07:59
Số KHLCNT: PL2500158388-01. Chủ đầu tư: CÔNG TY CỔ PHẦN CẤP NƯỚC GIA ĐỊNH. Ngày đăng tải: 18:59 22/07/25Thứ ba - 22/07/2025 07:57
Số KHLCNT: PL2500175274-01. Chủ đầu tư: Ủy ban nhân dân phường Bình Hòa. Ngày đăng tải: 18:57 22/07/25Thứ ba - 22/07/2025 07:55
Số KHLCNT: PL2500175287-00. Chủ đầu tư: Tổng công ty Truyền tải điện Quốc gia. Ngày đăng tải: 18:55 22/07/25Thứ ba - 22/07/2025 07:43
Số KHLCNT: PL2500135029-00. Chủ đầu tư: Bệnh Viện Phong Da Liễu Trung ương Quy Hòa. Ngày đăng tải: 18:43 22/07/25