⭐GoogleBot Crawling mới thu thập thông tin cho điện thoại thông minh

Mấy bữa nay trên các diễn đàn SEOmạng xã hội Facebook anh em làm SEO có than là từ khoá tụt bất thường. Ngoài các vấn đề vi phạm các thuật toán của Google không biết thông tin trong bài viết này có phải là một nguyên nhân. Hôm qua 23-02-2014 theo giờ US thì Google chính thức đưa thêm 1 một GoogleBot mới vào hoạt động có nhiệm vụ crawling thu thập thông tin cho điện thoại thông minh. Xem thêm bài viết về Google Bot (Spider ) đọc website của bạn như thế nào ?
GoogleBot dành cho mobile cũ sẽ tạm dừng sau 3-4 tuần nữa, việc thay đổi này ảnh hưởng tới 0,001 kết quả xếp hạng nhưng điều này sẽ giúp các webmaster có thể kiểm soát và tuỳ chỉnh index cho từng loại thiết bị.

Dưới đây là Googlebot cũ:

Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

Và chúng sẽ được thay thế bởi Googlebot mới:

Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Việc thay đổi GoogleBot ngày không ảnh hưởng tới loại Googlebot thường còn lại cho web. Xem thêm về các loại Googlet Bot cũ trong bài Hướng dẫn tối ưu hóa khi thiết kế website cho mobile wap

Để kiểm chứng cho sự thay đổi này các bạn có thể truy cập vào Google Webmaster Tools trong phần Tìm nạp như Google(Fetch as Google dùng ngôn ngữ tiếng anh).

⭐GoogleBot Crawling mới thu thập thông tin cho điện thoại thông minh
⭐GoogleBot Crawling mới thu thập thông tin cho điện thoại thông minh

Cùng với sự ra đời của GoogleBot mới thì việc thay đổi với file robots.txt cũng thay đổi chút ít, trường hợp bạn muốn chặn tất cả các GoogleBot Crawling thì chỉ cấu trúc vẫn như cũ:

User-agent: Googlebot
Disallow: /

Bạn muốn chặn GoogleBot crawling cho điện thoại thông mới thì cấu trúc file robots.txt như sau

User-agent: Googlebot-Mobile
Disallow: /

Bonus cho các bạn nào chưa biết thông tin thêm về các loại Bot mà Google dùng để crawl website chúng ta:

CrawlerUser-agentsHTTP(S) requests user-agent
Googlebot (Google Web search)GooglebotMozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
or
(rarely used): Googlebot/2.1 (+http://www.google.com/bot.html)
Googlebot NewsGooglebot-News
(Googlebot)
Googlebot-News
Googlebot ImagesGooglebot-Image
(Googlebot)
Googlebot-Image/1.0
Googlebot VideoGooglebot-Video
(Googlebot)
Googlebot-Video/1.0
Google MobileGooglebot-Mobile[various mobile device types] (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
Google SmartphoneGooglebotMozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Google Mobile AdSenseMediapartners-GoogleorMediapartners
(Googlebot)
[various mobile device types] (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
Google AdSenseMediapartners-Google
Mediapartners
(Googlebot)
Mediapartners-Google
Google AdsBot landing page quality checkAdsBot-GoogleAdsBot-Google (+http://www.google.com/adsbot.html)

Hi vọng sau bài viết này sẽ giúp các bạn làm dịch vụ SEO có thêm kiến thức về làm SEO trên các thiết bị di động smartphone.

Chúc các bạn thành công, có thắc mắc các bạn có thể mail về địa chỉ email contact[at]doiseo.com mình sẽ trả lời các bạn.

4.5 (90%) 4 votes