Googlebot

จริงๆ แล้วนั้น Robot ของ Google มีอยู่ด้วยกัน 3 ตัว และทำหน้าที่ที่แตกต่างกันไป

อันดับแรกคือ Googlebot ซึ่งจะเป็น Robot ตัวหลักของ Google ที่จะทำหน้าที่เก็บ indexes ของเว็บไซต์ต่างๆ โดยอาศัยการ Crawl
ไปตามลิ้งค์ต่างๆ ซึ่งเป็นตัวที่จะทำการสำรวจ ตรวจสอบเว็บไซต์ หลังจากนั้นจะส่งข้อมูล เข้า Data Centers ของ Google รวมทั้งส่งต่อให้ Google Deepbot มาทำการ Crawl หน้าเว็บอีกครั้งหนึ่ง เรียกได้ว่า เป็นการนำร่องมาสำรวจข้อมูล ก่อนส่งเจ้า Deepbot มาจัดการทำ Index อย่างละเอียดอีกครั้งหนึ่งนั่นเอง

นอกจากนี้ Googlebot ยังทำหน้าที่ตรวจสอบหน้าเว็บ เนื้อหา ต่างๆ ที่มีการเปลี่ยนแปลงไป และส่งข้อมูลต่อให้ Google Fleshbot ต่ออีกครั้ง เพื่อให้มาตรวจสอบ Content ใหม่ๆ ซึ่งโดยปรกติแล้ว Googlebot จะทำหน้าที่ตรวจสอบหน้าเว็บที่เปลี่ยนไป โดยมักจะส่งข้อมูลที่จำเพาะเจาะจงไป
เพื่อให้ Google Freshbot มาทำการ index หน้านั้นบ่อยๆ เท่าที่จะเป็นไปได้

ดังนั้น Googlebot จึงถือว่า เป็น Robot ตัวสำคัญของ Google เพราะเจ้า Googlebot ตัวนี้นั่นเอง ที่ทำหน้าที่ ค้นหาว่า หน้าเว็บมีลิ้งค์ไปยังที่ใดบ้าง มี keyword หรือ  Search term  อะไรบ้าง รวมทั้ง ยังเป็นตัวช่วยในการ คำนวณ PageRank อีกด้วย

ต่อมาคือ Google Deepbot จำทำหน้าที่เข้าไปทำการสำรวจ เว็บไซต์ ต่างๆ อย่างละเอียด ซึ่งโดยมาก มักจะเริ่มต้นในหน้าที่เจ้า Googlebot ได้เก็บข้อมูลไว้แล้ว มาทำการสำรวจต่ออย่างละเอียดนั่นเอง ดังนั้นในหน้าเว็บไซต์ต่างๆ ที่มีการเปลี่ยนแปลงไปจากเดิม มีลิ้งค์ใหม่ๆ ที่เพิ่มเติมขึ้นมา ที่มากเกินกว่าเจ้า Googlebot ได้เก็บไว้ ก็จะถูก Google Deepbot ลง ไปเก็บข้อมูลเพิ่มเติมด้วย และนั่นก็รวมทั้งข้อมูลที่เป็นไฟล์จำพวก pdf,doc,xls หรือแม้แต่ zip file ที่มีลิ้งค์ปรากฏอยู่ในหน้าเว็บนั่นเอง

สุดท้าย เจ้า Google Freshbot จะเป็น Robot ที่ค่อนข้างจะไวต่อการ crawl ไปตามหน้าเว็บต่างๆ หน้าเว็บที่มีการเปลี่ยนแปลงไปจากเดิมในช่วงเวลาประมาณ 1 สัปดาห์ นั่นเอง Google freshbot จะจำไว้ว่า หน้าเว็บไหนที่มีการเปลี่ยนแปลงเป็นประจำ หรือ เปลี่ยนแปลงบ่อย

นอกเหนือจากนี้ Googlebot มักจะแบ่งหน้าที่ในการทำ index หน้าเว็บบางหน้าให้กับ google freshbot ทำหน้าที่ index หน้าเว็บนั้นอีกด้วย หาก google พบว่า มีคนใช้ keyword บางคำบ่อยๆ เป็นจำนวนมาก และมีคนที่คลิกลิ้งค์ไป ยังหน้าที่ google แสดงเป็นจำนวนมาก google freshbot จะทำหน้าที่เข้ามาเก็บ index หน้านั้นอย่างต่อเนื่อง สม่ำเสมอ แต่ในขณะเดียวกัน หาก google freshbot ไม่สามารถทำการ index หรือ crawl หรือไม่พบหน้า page หลายครั้ง มันก็จะส่งข้อมูลกลับไป และปลด indexs ที่เก็บไว้ อย่างรวดเร็วเช่นกัน

google freshbot จะไม่ทำหน้าที่ซ้ำกับ Deepbot ในส่วนที่เก็บ index ของไฟล์ประเภทอื่นๆ เช่น pdf,doc หรือสรุปอย่างง่ายๆ ก็คือ นอกเหนือจาก text และ html

ซึ่งจุดหนึ่งที่น่าสนใจ และเป็นแนวทางในการทำ SEO นั่นคือ การที่ผู้ทำเว็บ จะต้องหมั่น Update content อย่างต่อเนื่อง สม่ำเสมอ แม้ ว่าบางครั้ง ในหน้าเว็บที่เป็น static การเพิ่มเติมลิ้งค์ หรือ ปรับปรุง content เก่าๆ ย่อมจะส่งผลให้ หน้าเว็บของคุณ ไม่ถูก ลดอันดับลงจากหน้าแสดงผลการค้นหาของ Google ด้วย

เพราะอย่างที่ได้เคยเอ่ยถึงไปแล้วว่า ถึงอย่างไรก็ตาม Google ยังคงให้ความสำคัญกับหน้าเว็บที่มีการเปลี่ยนแปลงเสมอ เนื่องจาก Google เห็นว่ามันจะมีความหมายอะไร หากผู้ใช้งาน ค้นหาเจอหน้าเว็บที่ตายแล้ว นั่นเอง