Cách chặn boot ahrefs tìm kiếm thông tin trang web

Sau đây là phương pháp chặn boot ahrefs tìm kiếm thông tin trang web của mình , chỉ càn chèn code vào robots hoặc htaccess là chúng ta có thể không cho đối thủ nhìn thấy các thông tin back link cũng như site vệ tinh của chúng ta
Hướng dẫn chặn Boot Ahrefs.Com bằng Robots.Txt
User-agent: AhrefsBot
Disallow: /
Ngoài ra, mọi người có thể kiểm soát tần số của AhrefsBot đến trang web của mình bằng cách xác định sự chậm trễ tối thiểu chấp nhận được giữa hai yêu cầu liên tiếp từ bot như sau (trong robots.txt):

User-Agent: AhrefsBot
Crawl-Delay: 2

trong đó chú ý giá trị của tham số Crawl-Delay tính bằng giây

Hướng dẫn chặn Boot Ahrefs.Com bằng Htaccess

#htaccess mod rewrite code
Options +FollowSymLinks -MultiViews
RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} ^Rogerbot* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Exabot* [OR]
RewriteCond %{HTTP_USER_AGENT} ^MJ12bot* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Dotbot* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Gigabot* [OR]
RewriteCond %{HTTP_USER_AGENT} ^AhrefsBot* [OR]
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow* [OR]
RewriteRule ^(.*)$ / [L,R=301]