Google spider được phân chia đơn giản hơn thành 2 loại : spider chủ động và spider thụ động.
- Spider chủ động.
Google spider chủ động hoạt động dựa trên các liên kết trong một trang hay cả website của bạn. Đối với loại spider này yếu tố ảnh hưởng nhất là "SiteMap" do đó các SEOer thường tạo sitemap (.xml) cho website và submit lên công cụ webmaster tools cho chúng làm việc tốt hơn, website được thu thập dữ liệu tốt hơn ! Chúng tự động thu thập dữ liệu và phân tích, đi theo các đường dẫn ( link ) để tiếp tục công việc của mình.
- Spider thụ động.
Google spider thụ động hoạt động dựa trên sự truy vấn của trình duyệt vào 1 website, page nào đó. Tức là nếu có 1 website mà bạn không làm gì mà chỉ truy cập thông qua các trình duyệt web như: IE, Frifox, google Chrome...thì website của bạn cũng sẽ được lập chỉ mục, nhưng thời gian sẽ vô cùng chậm tức là website sẽ lâu được Index.
Loại spider này có thể tác động qua cả ứng dụng Google plus (G+) khi người dùng click G+ để +1 cho page nào đó thì ngay lập tức spider này sinh ra và đi tới page đó để tiến hành công việc. Để website được index nhanh, uy tín hơn thì các SEOER phải điều hướng được Spider để nó ghé thăm website của mình nhiều hơn. Vấn đề đặt ra là làm sao điều hướng được Spider.
Cách điều hướng Spider
Cũng giống như con người, thường thì khi đọc văn bản chúng ta hay đọc từ trên xuống dưới, từ trái qua phải và Google spider cũng đọc dữ liệu trên website của chúng ta như vậy. Do đó, thường những thông tin quan trọng chúng ta cần phải bố trí hợp lý với bố cục website để điều hướng Google spider.
- Điều hướng 1: Đầu tiên khi vào website của bạn tương tự như web về thiet ke website bang wordpress của mình luôn luôn có file robot.txt. Đầu tiên site của bạn nó sẽ tìm đến file: robot.txt
sau đó là file: Sitemap. Do đó trên mọi website 2 file này không được thiếu.
- Điều hướng thứ 2: Xấy dựng các liên kết nội bội để điều hướng Spide từ Pages này sang Pages khác trên cùng 1 website.
- Điều hướng thứ 3: Google spider tuân theo thuộc tính follow – nofollow hoặc index – noindex của thẻ meta hoặc thuộc tính disallow trong file robots.txt.
Vì vậy khi xây dựng web các link không quan trọng, các bạn không muốn Spider chú ý tới thì các bạn hãy đặt thuộc tính "rel='nofollow' " trong thẻ "<a rel='nofollow' href=""></a>" hoặc thuộc tính "noindex".
Các bạn cũng có thể sử dụng thuộc tính Disallow trong file Robot.txt để chặn các đường link xấu, các đường link không quan trọng.
Các bạn cũng có thể sử dụng thuộc tính Disallow trong file Robot.txt để chặn các đường link xấu, các đường link không quan trọng.
Nguồn: Sưu tầm