Cấu hình tệp robots.txt và kiến trúc XML Sitemap phân tách theo thực thể (Products, Categories, Articles) cho website lớn

Chiến lược cấu hình tệp robots.txt: bảo vệ ngân sách thu thập dữ liệu (Crawl Budget) khỏi bẫy tham số

Tệp robots.txt đặt tại thư mục gốc của tên miền là chốt chặn đầu tiên mà mọi trình thu thập dữ liệu (Web Crawlers) phải đọc qua trước khi tiến hành tải các trang HTML. Trên hệ thống thương mại điện tử, có hàng loạt khu vực chức năng được sinh ra riêng cho từng phiên làm việc của người mua như trang giỏ hàng (/cart), trang thanh toán (/checkout), trang quản lý đơn đặt mua cá nhân (/account), danh sách yêu thích (/wishlist) và các đường dẫn thêm nhanh sản phẩm vào giỏ (?add-to-cart=). Việc để mặc Googlebot đi vào các đường dẫn cá nhân hóa này không mang lại bất kỳ giá trị xếp hạng nào mà còn làm cạn kiệt hạn ngạch thu thập hàng ngày của máy chủ.

Bên cạnh các trang giao dịch, kẻ thù lớn tiêu diệt ngân sách thu thập trên website bán lẻ chính là sự kết hợp tổ hợp của các tham số sắp xếp (?sort=price_asc), tham số phân trang kiểu biến động, tham số theo dõi chiến dịch quảng cáo (?utm_source=, ?fbclid=) và các tổ hợp lọc đa thuộc tính ( khi người dùng chọn cùng lúc 3 màu sắc và 4 mức giá). Bằng cách sử dụng ký tự đại diện dấu hoa thị (*) trong tệp robots.txt, kỹ sư hệ thống có thể thiết lập các quy tắc chặn gọn gàng đối với các tổ hợp tham số sâu từ 2 dấu lọc trở lên, giữ cho Googlebot chỉ tập trung ngân sách vào các trang danh mục tĩnh và sản phẩm thực tế.

Tuy nhiên, một sai lầm nghiêm trọng từ thời kỳ SEO cũ vẫn còn tồn tại trên nhiều mã nguồn là chặn thư mục chứa các tệp định kiểu giao diện (.css), tệp kịch bản (.js) hoặc các điểm cuối API cung cấp dữ liệu hiển thị chính của trang sản phẩm. Hệ thống kết xuất trang hiện đại của Google (Web Rendering Service) sử dụng trình duyệt nhân Chromium thực thụ để dựng bố cục trang giống hệt như người dùng nhìn thấy. Nếu robots.txt chặn các tệp CSS và JavaScript cốt lõi, Googlebot sẽ nhìn thấy một trang web vỡ nát, đánh giá sai khả năng tương thích thiết bị di động và không đọc được các nội dung tải động hợp lệ.

• Chặn triệt để các khu vực riêng tư và giao dịch của người dùng: Disallow cho /cart/, /checkout/, /my-account/, /wishlist/ và các hành động so sánh sản phẩm động.
• Chặn đường dẫn kết quả tìm kiếm nội bộ (/search, ?q=, ?s=) và các tham số sắp xếp thứ tự hiển thị (?sort=, ?orderby=, ?view=list) để tránh nhân bản nội dung.
• Mở quyền truy cập hoàn toàn (Allow) cho các tệp tài nguyên tĩnh .css, .js và hình ảnh sản phẩm nhằm phục vụ quá trình dựng trang (Rendering) của Googlebot.
• Khai báo tường minh đường dẫn tuyệt đối tới tệp chỉ mục Sitemap (Sitemap: https://tenmien.vn/sitemap_index.xml) ở dòng cuối cùng của tệp robots.txt.

Vuốt ngang để xem đủ bảng →

Quy tắc làm sạch đường dẫn trong Sitemap và sử dụng thẻ lastmod trung thực theo sự kiện thực tế

Nguyên tắc vàng của một tệp XML Sitemap chuẩn mực là độ tinh khiết 100%: mọi đường dẫn xuất hiện trong Sitemap bắt buộc phải là trang chuẩn (Canonical URL), phản hồi mã trạng thái 200 OK và được phép lập chỉ mục (Indexable). Rất nhiều hệ thống thương mại điện tử mắc lỗi xuất toàn bộ bảng dữ liệu sản phẩm trong kho ra Sitemap mà không qua bộ lọc trạng thái, khiến Sitemap chứa đầy các đường dẫn đã chuyển hướng 301, các sản phẩm đã xóa trả về 404/410 hoặc các trang biến thể màu sắc đang gắn thẻ Canonical trỏ về sản phẩm cha. Khi Googlebot liên tục gặp đường dẫn lỗi hoặc mâu thuẫn tín hiệu trong Sitemap, thuật toán sẽ giảm mức độ tin cậy đối với tệp Sitemap đó.

Bên cạnh danh sách đường dẫn, việc sử dụng đúng các thẻ siêu dữ liệu đi kèm trong XML Sitemap cũng quyết định hiệu quả lập lịch thu thập của bộ máy tìm kiếm. Google đã nhiều lần xác nhận chính thức rằng thuật toán của họ hoàn toàn bỏ qua hai thẻ changefreq (tần suất thay đổi) và priority (độ ưu tiên từ 0.0 đến 1.0) vì các quản trị viên web thường tự nhận mọi trang của mình đều có độ ưu tiên cao. Do đó, việc tính toán và in hai thẻ này vào hàng vạn dòng sản phẩm chỉ làm tăng dung lượng tệp XML một cách vô ích.

Ngược lại, thẻ lastmod (thời điểm sửa đổi cuối cùng theo chuẩn định dạng ISO 8601) lại là tín hiệu cực kỳ giá trị được Googlebot sử dụng trực tiếp để quyết định có cần quét lại trang đó hay không, với điều kiện giá trị này phải hoàn toàn trung thực. Hệ thống tuyệt đối không được cập nhật lại ngày giờ lastmod của toàn bộ 50.000 sản phẩm thành thời điểm hiện tại mỗi khi chạy tiến trình xuất lại Sitemap hàng đêm. Trường lastmod của một sản phẩm chỉ được phép cập nhật khi có sự thay đổi thực chất trên trang đó như: thay đổi giá bán, thay đổi trạng thái tồn kho từ còn hàng sang hết hàng, cập nhật mô tả thông số kỹ thuật hoặc có thêm đánh giá mới từ người mua.

• Chỉ đưa vào Sitemap các URL sạch đạt chuẩn 3 tiêu chí: mã phản hồi HTTP 200 OK, thẻ tự tham chiếu Canonical chính nó và không chứa thẻ noindex.
• Loại bỏ hoàn toàn hai thẻ dư thừa là priority và changefreq khỏi mã nguồn sinh XML Sitemap để tiết kiệm dung lượng tệp và thời gian xử lý.
• Chỉ cập nhật dấu thời gian lastmod khi nội dung chính, giá bán, tình trạng tồn kho hoặc dữ liệu đánh giá của sản phẩm đó thực sự thay đổi trong cơ sở dữ liệu.
• Tự động gỡ ngay các URL sản phẩm đã chuyển sang trạng thái ngừng kinh doanh vĩnh viễn (410 Gone) hoặc đã chuyển hướng 301 ra khỏi Sitemap sản phẩm đang hoạt động.