[Screaming Forg] Cách quét Website khi đang chặn Robots tag
Đối với người dùng trong quá trình làm Website có thể sẽ chặn bằng robots tag bằng cách thêm noindex vào thẻ meta robots. Điều này sẽ khiến các công cụ SEO như Screaming Forg bỏ qua và không thể kiểm tra được, hướng dẫn này giúp bạn tắt tính năng này để kiểm tra.
Khi nào bạn nên tạm thời tắt tính năng này
- Khi website của bạn đang ở trạng thái test và bạn muốn kiểm tra thử nghiệm nhưng chưa sẵn sàng mở index cho Google.
- Khi bạn muốn kiểm tra sâu hơn, liệu website của mình những trang bị chặn nếu bị thu thập nó sẽ như thế nào.
Cách tắt tính năng này.
Bước 1: Bạn mở Screming Forg → Configuration →Crawl Config (Hoặc nhấn phím tắt CRL +;)
Bước 2: Trong bảng cấu hình Crawl Config, bạn nhìn cột số 3 (mục Directives)
Bước 3: Bạn bỏ chọn mục Meta Robots và X-robots-tag (như hình dưới)
Bây giờ hãy quét website của bạn như bình thường. Phần mềm sẽ tự bỏ qua Meta Robots bất kể bạn đang khai báo Noindex hay là index.
Mặc định tính năng này là bật và điều đó tốt cho phần lớn mọi người. Bạn không cần quá bận tâm nếu những trang không quan trọng của bạn đã được chặn index.
Tuy nhiên nếu muốn hoặc bạn để ý báo cáo của Google sẽ thấy mặc dù chặn nhưng Google vẫn index các trang và tài nguyên này, vì thế nhiều trường hợp chúng ta vấn sẽ cần kiểm tra.
Điều này phụ thuộc vào tư duy làm SEO của bạn, đó là lý do mà tôi viết hướng dẫn này. Hy vọng bạn làm thành công và nó hữu ích với bạn.
