Chặn bot spam và chặn các công cụ SEO check backlink

[tranngocthuy]

Có nhiều lý do mà bạn nên chặn những con bot của các công cụ spam crawl dữ liệu cũng như công cụ SEO để hạn chế việc đối thủ phân tích trang web của bạn.

Những lý do nên chặn​

1. Bạn không muốn đối thủ check backlink từ site vệ tinh về site chính của bạn? Bạn chặn bot các công cụ check backlink ở site vệ tinh (có nhiều bạn nhầm tưởng là chặn bot ở site chính là không đúng)
2. Bảo mật, bảo vệ nội dung và dữ liệu: Các bot có thể thu thập nội dung từ trang web của bạn mà không có sự cho phép, dẫn đến việc sao chép, sử dụng nội dung một cách bất hợp pháp cũng như có nhiều công cụ bot spam để thu thập lỗ hổng nhằm tấn công hack website của bạn
3. Giảm tải máy chủ: Bot có thể tạo ra một lượng lớn yêu cầu đến máy chủ, gây ra tình trạng quá tải và ảnh hưởng đến hiệu suất của trang web. Với trang web nhỏ số lượng bài viết, index ít thì không sao có những khách tư vấn SEO bên mình họ có hàng triệu đến vài chục triệu bài viết nếu không chặn sẽ gây quá tải hoặc chi phí server hosting cho việc tiêu tốn tài nguyên cũng như băng thông
4. Trải nghiệm người dùng truy cập: Nếu máy chủ bị quá tải hoặc bị tấn công bởi bot, người dùng thực sự có thể gặp khó khăn khi truy cập trang web. Chặn bot giúp duy trì trải nghiệm người dùng ổn định.
5. Sai lệch dữ liệu thống kê: Dữ liệu bị sai lệch dẫn tới việc phân tích đánh giá cũng bị sai lệch theo, bên cạnh đó việc khai thác sử dụng dữ liệu đó cũng dẫn đến việc sai lệch tốn nhiều chi phí (Một ví dụ đơn giản như bạn chạy quảng cáo remarketing lại với đối tượng đó)
6. Trong một số trường hợp vì lý do gì đó bạn muốn chặn bot Google chỉ muốn SEO ở Bing, Yahoo, DuckDuckGo... thì bạn chặn bot Google và ngược lại. Hoặc bạn có thể chặn bot theo quốc gia...

Nếu bạn có thêm lý do thì để lại bình luận phía dưới

Cách chặn bot​

Có nhiều cách chặn bot nhưng bổ biến là những cách dưới đây:

1. Sử dụng file Robots.txt: Sử dụng tệp robots.txt để chỉ định các bot nào được phép hoặc không được phép truy cập trang web hoặc một khu vực nào đó của trên trang web => Cách này thường không hiệu quả với bot spam và các công cụ SEO đôi khi họ bỏ qua file này. File này nằm ngang hàng index https://tranngocthuy.com/robots.txt (xem ví dụ dưới file đính kèm)
2. Sử dụng cấu hình trong file .htaccess: Cấu hình tệp .htaccess để chặn các bot dựa trên IP hoặc User-Agent (file này nằm cùng robots.txt)
3. Sử dụng CAPTCHA: Sử dụng CAPTCHA trên các biểu mẫu để ngăn chặn bot spam
4. Cài ứng dụng tường lửa từ server, thường dành cho anh chị em hiểu và biết về quản trị server, bạn dùng hosting thường không có
5. Tường lửa ứng dụng web (WAF) của Cloudflare: Sử dụng các giải pháp bảo mật như WAF để tự động phát hiện và chặn các bot độc hại

Dùng Cloudflare​

Cloudflare là một trong những cách giúp mọi người dễ dàng sử dụng, để chặn bot spam các bạn có thể làm như sau: Sử dụng đoạn code phía dưới và truy cập Security => WAF => Create a Firewall rule => Edit expression => Paste => Choose action: chọn Block => Deploy.

(http.user_agent contains "ahrefs") or (http.user_agent contains "moz") or (http.user_agent contains "rogerbot") or (http.user_agent contains "Alexabot") or (http.user_agent contains "MJ12bot") or (http.user_agent contains "Majestic") or (http.user_agent contains "PetalBot") or (http.user_agent contains "trendkite-akashic-crawler") or (http.user_agent contains "opensiteexplorer") or (http.user_agent contains "dataforseo") or (http.user_agent contains "semrush") or (http.user_agent contains "SemrushBot") or (http.user_agent contains "SeznamBot") or (http.user_agent contains "magpie-crawler") or (http.user_agent contains "Bytespider")

Ví dụ hạn chế hacker nước ngoài login Admin WordPress

(http.request.uri.path contains "/wp-admin" and ip.geoip.country ne "VN") or (http.request.uri.path contains "/wp-login" and ip.geoip.country ne "VN")

Bạn có thể tự thêm và quy ước theo trường (Field).

Video hướng dẫn DNS và dùng cloudflare​

Forward email trong tài khoản Cloudflare​