REPgiúp webmaster điều hướng hoạt động của robot (hay còn gọi là crawler, spider- phần mềm dò tìm dữ liệu của các cỗ máy tìm kiếm) đối với website của mình. Webmaster có thể dùng file Robots.txt để ngăn chặn robot xâm nhập các thư mục và file trên server của mình và thẻ Meta Robots giúp ngăn chặn robots ở cấp độ từng trang riêng lẻ.
Về Robots.txt, cả 3 đại gia tìm kiếm đều hỗ trợ các chỉ dẫn (directive) sau:
Về thẻ Meta Robots, cả Google, Yahoo! và Microsoft đều thỏa thuận:
Thực ra Giao thức ngăn chặn Robots - REPđã được hiểu ngầm là 1 tiêu chuẩn chưa chính thức (de-facto standard) của các cỗ máy tìm kiếm từ những năm 1990. Tuy nhiên đây là lần đầu tiên Google, Yahoo! và Microsoft “cộng tác” (collaborating) hay “làm việc với nhau” (working together) về REP, mặc dù họ chưa xây dựng nên 1 tiêu chuẩn mới (như đã từng dựng trang Sitemaps.org năm 2006 hướng dẫn Sitemap cho website) mà chỉ mới tuyên bố trên blog của họ.
(Theo Blog Google, Yahoo! và Microsoft)
* Các bạn vui lòng tham khảo chi tiết tại:
Những tin mới hơn
Những tin cũ hơn
Công ty cổ phần phát triển nguồn mở Việt Nam (VINADES.,JSC) là công ty mã nguồn mở đầu tiên của Việt Nam sở hữu riêng một mã nguồn mở nổi tiếng và đang được sử dụng ở hàng ngàn website lớn nhỏ trong mọi lĩnh vực. Wbsite đang hoạt động chính thức: http://vinades.vn/ Ra đời từ hoạt động của tổ chức...
Thứ ba - 06/05/2025 20:59
Số TBMT: IB2500190384-00. Bên mời thầu: ỦY BAN NHÂN DÂN PHƯỜNG HỢP ĐỨC. Đóng thầu: 15:00 15/05/25Thứ ba - 06/05/2025 20:58
Số TBMT: IB2500190404-00. Bên mời thầu: Ủy ban nhân dân xã Sặp Vạt. Đóng thầu: 08:00 15/05/25Thứ ba - 06/05/2025 20:52
Số TBMT: IB2500162960-01. Bên mời thầu: Ban quản lý dự án đầu tư xây dựng huyện Ngọc Lặc. Đóng thầu: 09:00 17/05/25Thứ ba - 06/05/2025 20:51
Số TBMT: IB2500188525-00. Bên mời thầu: Ban quản lý dự án đầu tư xây dựng huyện Ngọc Lặc. Đóng thầu: 09:00 16/05/25Thứ ba - 06/05/2025 20:14
Số TBMT: IB2500161861-01. Bên mời thầu: Công an tỉnh Bà Rịa - Vũng Tàu. Đóng thầu: 09:00 17/05/25Thứ ba - 06/05/2025 20:13
Số TBMT: IB2500190373-00. Bên mời thầu: CÔNG TY TNHH TƯ VẤN VÀ XÂY DỰNG PHONG HÀ. Đóng thầu: 11:00 13/05/25Thứ ba - 06/05/2025 20:11
Số TBMT: IB2500189448-00. Bên mời thầu: Ban quản lý dự án đầu tư xây dựng huyện Nga Sơn. Đóng thầu: 09:00 16/05/25Thứ ba - 06/05/2025 19:32
Số TBMT: IB2500189935-00. Bên mời thầu: Viễn thông Thái Nguyên. Đóng thầu: 09:00 16/05/25Thứ ba - 06/05/2025 19:16
Số TBMT: IB2500187600-00. Bên mời thầu: Trung tâm Tiêu chuẩn Đo lường Chất lượng CS2. Đóng thầu: 11:00 13/05/25Thứ ba - 06/05/2025 19:14
Số TBMT: IB2500190239-00. Bên mời thầu: Bệnh viện đa khoa Tỉnh Khánh Hòa. Đóng thầu: 08:00 26/05/25Thứ ba - 06/05/2025 21:08
Số KHLCNT: PL2500105049-00. Chủ đầu tư: Nhà xuất bản Kim Đồng. Ngày đăng tải: 23:38 06/05/25Thứ ba - 06/05/2025 21:07
Số KHLCNT: PL2500105048-00. Chủ đầu tư: UBND XÃ HÒA HẬU. Ngày đăng tải: 23:37 06/05/25Thứ ba - 06/05/2025 21:06
Số KHLCNT: PL2500105050-00. Chủ đầu tư: TRƯỜNG THCS TÂN NINH. Ngày đăng tải: 23:36 06/05/25Thứ ba - 06/05/2025 21:01
Số KHLCNT: PL2500105047-00. Chủ đầu tư: Nhà xuất bản Kim Đồng. Ngày đăng tải: 23:31 06/05/25Thứ ba - 06/05/2025 20:53
Số KHLCNT: PL2500105046-00. Chủ đầu tư: Nhà xuất bản Kim Đồng. Ngày đăng tải: 23:23 06/05/25