REPgiúp webmaster điều hướng hoạt động của robot (hay còn gọi là crawler, spider- phần mềm dò tìm dữ liệu của các cỗ máy tìm kiếm) đối với website của mình. Webmaster có thể dùng file Robots.txt để ngăn chặn robot xâm nhập các thư mục và file trên server của mình và thẻ Meta Robots giúp ngăn chặn robots ở cấp độ từng trang riêng lẻ.
Về Robots.txt, cả 3 đại gia tìm kiếm đều hỗ trợ các chỉ dẫn (directive) sau:
Về thẻ Meta Robots, cả Google, Yahoo! và Microsoft đều thỏa thuận:
Thực ra Giao thức ngăn chặn Robots - REPđã được hiểu ngầm là 1 tiêu chuẩn chưa chính thức (de-facto standard) của các cỗ máy tìm kiếm từ những năm 1990. Tuy nhiên đây là lần đầu tiên Google, Yahoo! và Microsoft “cộng tác” (collaborating) hay “làm việc với nhau” (working together) về REP, mặc dù họ chưa xây dựng nên 1 tiêu chuẩn mới (như đã từng dựng trang Sitemaps.org năm 2006 hướng dẫn Sitemap cho website) mà chỉ mới tuyên bố trên blog của họ.
(Theo Blog Google, Yahoo! và Microsoft)
* Các bạn vui lòng tham khảo chi tiết tại:
Những tin mới hơn
Những tin cũ hơn
1. Môi trường máy chủ Yêu cầu bắt buộc Hệ điều hành: Unix (Linux, Ubuntu, Fedora …) hoặc Windows PHP: PHP 5.4 hoặc phiên bản mới nhất. MySQL: MySQL 5.5 hoặc phiên bản mới nhất Tùy chọn bổ sung Máy chủ Apache cần hỗ trợ mod mod_rewrite. Máy chủ Nginx cấu hình các thông...
Thứ năm - 18/09/2025 13:20
Số TBMT: IB2500406659-00. Bên mời thầu: Bệnh viện Trung ương Thái Nguyên. Đóng thầu: 12:00 26/09/25Thứ năm - 18/09/2025 13:20
Số TBMT: IB2500406673-00. Bên mời thầu: Bệnh viện Trung ương Thái Nguyên. Đóng thầu: 12:00 26/09/25Thứ năm - 18/09/2025 13:20
Số TBMT: IB2500406686-00. Bên mời thầu: Bệnh viện Trung ương Thái Nguyên. Đóng thầu: 12:00 26/09/25Thứ năm - 18/09/2025 13:20
Số TBMT: IB2500406667-00. Bên mời thầu: Bệnh viện Trung ương Thái Nguyên. Đóng thầu: 12:00 26/09/25Thứ năm - 18/09/2025 13:20
Số TBMT: IB2500406644-00. Bên mời thầu: Bệnh viện Trung ương Thái Nguyên. Đóng thầu: 12:00 26/09/25Thứ năm - 18/09/2025 13:19
Số TBMT: IB2500406677-00. Bên mời thầu: Bệnh viện Trung ương Thái Nguyên. Đóng thầu: 12:00 26/09/25Thứ năm - 18/09/2025 12:39
Số TBMT: IB2500405492-00. Bên mời thầu: Bệnh viện Trung ương Thái Nguyên. Đóng thầu: 15:25 06/10/25Thứ năm - 18/09/2025 12:24
Số TBMT: IB2500395072-02. Bên mời thầu: CĐCS Công ty TNHH An Giang SAMHO. Đóng thầu: 06:30 24/09/25Thứ năm - 18/09/2025 11:23
Số TBMT: IB2500404201-00. Bên mời thầu: Công đoàn chi nhánh công ty TNHH Yazaki Hải Phòng Việt Nam tại Quảng Ninh. Đóng thầu: 09:00 27/09/25Thứ năm - 18/09/2025 11:12
Số TBMT: IB2500395996-01. Bên mời thầu: Bệnh viện C Đà Nẵng. Đóng thầu: 10:00 07/10/25Thứ năm - 18/09/2025 12:59
Số KHLCNT: PL2500227402-00. Chủ đầu tư: Văn phòng quản lý cửa khẩu Lý Vạn. Ngày đăng tải: 23:59 18/09/25Thứ năm - 18/09/2025 12:45
Số KHLCNT: PL2500227401-00. Chủ đầu tư: Ủy ban Mặt trận tổ quốc Việt Nam phường Chương Mỹ. Ngày đăng tải: 23:45 18/09/25Thứ năm - 18/09/2025 12:41
Số KHLCNT: PL2500227400-00. Chủ đầu tư: Viễn thông Lào Cai. Ngày đăng tải: 23:41 18/09/25Thứ năm - 18/09/2025 12:36
Số KHLCNT: PL2500227399-00. Chủ đầu tư: Trường Đại học Sư phạm, Đại học Huế. Ngày đăng tải: 23:36 18/09/25Thứ năm - 18/09/2025 12:32
Số KHLCNT: PL2500227397-00. Chủ đầu tư: Chi cục Hải quan khu vực XIII. Ngày đăng tải: 23:32 18/09/25