WELCOME TO EZLASSO.COM
Website chia sẽ những thông tin về thủ thuật máy tính, công nghệ.
Nếu bạn có thắc mắc về máy tính - công nghệ hãy tìm trên google theo cú pháp: Từ Khoá + Ez Lasso
Bạn không phải là một người chuyên thiết kế website, là một tập sự về website thì đây cũng có thể là một nội dung giới thiệu về file robots.txt giúp ít cho bạn trong việc quản bá website. Vậy File robots.txt này là gì? Nó có quan trọng cho website của bạn? Cùng Ez Lasso tìm hiểu về File này nhé.
Robots.txt là gì? Có quan trọng không?
Robots.txt ?
Đầu tiên đây là một file như một con robots của trang website của bạn. Với nhiêm vụ chính là cho phép hay ngăn chặn các con robot của các nhà tìm kiếm, đo lường: google, bing, MOZ,… vào đọc nội dung website của bạn. Nói cách khác robots là người bảo vệ web tránh những con bot khác đọc mặc dù người dùng vẫn vào website của bạn đọc nội dung nhưng những con robots thu thâp thông tin khác không thể vào đươc.
Không những thế con robots này còn hỗ trợ những con robots của website khác đọc nội dung website của bạn. Nó gần như người dẫn đường cho con robots website khác. Đọc tới đây bạn hơi thắc mắc 1 xí về việc tại sao phải tạo file robots này? Robots của website khác có được bảo vệ không? Tại sao lại cho phép robots khác đọc website của mình? Những thắc mắc này mình sẽ giải đáp tại phần tầm quan trọng sau đây.
Tầm quan trọng của robots.txt
Như đã nói trên thì robots.txt là người bảo vệ website với khả năng này chúng sẽ quản lý việc robots khác ra vào website. Với công dụng chủ yếu đó robots sẽ cho phép website của bạn được xuất hiện tại google, bing ,… những mạng tìm kiếm, hoặc có những chỉ số đo lường website như moz, ahrefs,… Nếu như bạn cho phép những con robots khác vào.
Hiên nay, các trang website tìm kiếm, cung cấp giá trị website dùng những con robots khác nhau. Nên việc vào được website của bạn thì chúng mới được xuất hiện trên những website tìm kiếm, website đánh giá. Nói theo một cách khác nếu có file robots.txt nó sẽ thông báo cho các con robots khác: “Hey, tôi ở đây nek bạn nên vào đọc những nội dung của website tôi nó thật sự tốt cho người dùng”.
Có một số con robot được sử dụng với mục tiêu phá hoại hay hack website của bạn. Thì đây cũng chính là cách giúp bạn bảo về website của mình. Dù bạn cho phép những con robots vào nhưng bạn sẽ cấm một số URL quan trọng như wp-admin (cho các bạn dùng wordpress). Việc này cũng gần như không cho các con robots khác đi vào và đọc website của bạn.
Nếu bạn là một người làm SEO hay quản bá website, thì file robots.txt là một trợ thủ đặt lực trong việc giới thiệu website lên nhiều thể loại mạng. Bạn hãy chú ý để đặt đúng những chỉ dẫn cho robots của bạn để khai thác triệt để nhé.
Viết Robots.txt?
Viết file này khá đơn giản chỉ vài dòng lên và lưu lại với đuôi txt. Bạn có thể dùng notepad hay notepad++ nhé.
Địa điểm lưu lưu trên dịch vụ lưu trữ dữ liệu website. Và kiểm tra website đã có file robots.txt
Bạn lưu vào ngay thư mục public_html của dịch vụ lưu trữ.
Bạn có thể kiểm tra file robots.txt đã có chưa bằng cách bằng cách vào trình duyệt website: gõ domain/sitemap.txt. Nếu website bạn bị 404 thì không có file, nếu load ra đoạn code bất kỳ thì đã có nhé. Bạn hãy vào dịch vụ lưu trữ website và sửa nó nhé. Bạn có thể tham khảo cách viết dưới phần sau này.
Robots.txt đơn giản
Đây là một file robots.txt được mình viết đơn giản nhất:
User-Agent: * Allow: / Disallow: /admin Sitemap: tên_website/sitemap.xml
Trong đó:
- User-Agent:* là cho phép tất cả các rotbots vào website của bạn
- Allow: / cho phép các con robot đọc các url trên trang website của bạn
- Disallow: /admin đây là chặn các robot đọc url (domain/admin) của website bạn. (domain/admin: là phần admin quản trị website của mình
- Sitemap: tên_website/sitemap.xml đây là phần bản đồ tại website của bạn
Xem thêm: sitemap.xml là gì? Làm sao tạo được sitemaps cho website? Những website hỗ trợ tạo sitemaps
Bạn có thể biến tấu với 2 lệnh allow:url (cho phép) và disallow:url (không cho phép): để đặt robots khác vào website bạn hợp lý. Đối với các url bạn điền vào thì bỏ phần phần domain (tên miền) phía trước.
Robots.txt cho wordpress
Đây là một file robots.txt chuẩn theo wp được website mình làm lúc bắt đầu nhé
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Allow: /wp-admin/images/* Sitemap: tên_website/sitemap.xml
Bạn có thể coppy và điền lại. Hoặc bạn có thể tải về và sửa lại.
Dùng plugin yoastseo cho wordpress
Nếu bạn dùng wordpress bạn có thể dùng plugin yoastseo để tạo được file robots.txt và quản lý các file robots hay sitemaps không cần phải vào dịch vụ lưu trữ website.
Đầu tiên bạn đăng nhập quản trị wordpress => chọn biểu tượng yoast seo => Tool => File editor
Tại đây bạn sẽ tạo và quản lý 2 file robots.txt hoặc .htccass. Nếu chưa có bạn tạo ra còn có rồi hãy chỉnh sửa tại đây rồi lưu lại nhé.
Lưu ý: yoast seo dù bản trả phí hay không vẫn có thể sử dụng được.
Tại đây mình sẽ share một bản yoast seo được active bạn chỉ cẩn tải lên wordpress và dùng nhé.
