วิธีสร้างไฟล์-robots.txt

robots.txt คืออะไร และวิธีสร้างไฟล์ robots.txt

robots.txt คืออะไร และวิธีสร้างไฟล์ robots.txt



ไฟล์ robots.txt จะทำหน้าที่อนุญาติและยกเว้นการเข้าถึงไฟล์และโฟลเด้อต่าง ๆ ที่อยู่บน web server ให้กับ web robots ซึ่งเป็นโปรแกรมรวมรวมข้อมูลเว็บไซต์ ( Crawlers หรือบางทีเรียกว่า Spider ) ซึ่งถูกรันแบบอัตโนมัติจาก

หลากหลายแหล่งที่มา และเพื่อความเป็นส่วนตัวของข้อมูลบนโลกอินเตอร์เนต ซึ่งอาจจะมีข้อมูลบางอย่างบนเว็บไซต์ที่เราไม่ต้องการให้ robots เหล่านี้นำไปทำ index หรือทำอย่างอื่น จึงเกิดไฟล์ robots.txt ขึ้นมาเพื่อบอกให้ robots เหล่านั้นรู้ว่า directory ส่วนไหน หรือไฟล์ไหนบนเว็บไซต์ของเรา ที่สามารถนำไปทำ index ได้และไฟล์ไหนไม่อนุญาติให้นำไปสร้าง index เมื่อ web robots เข้ามายังเว็บไซต์ของเรา จะทำการอ่านไฟล์ robots.txt และรับรู้ว่าส่วนไหนอนุญาติและไม่อนุญาติ ก่อนที่จะไปเก็บข้อมูลหน้าเว็บไซต์ของเรา

เหตุผลที่เราควรสร้างไฟล์ robots.txt

สำหรับนักพัฒนาเว็บไซต์โดยทั่วไป เมื่อเราพัฒนาเว็บไซต์ให้ลูกค้าในขั้นตอนของการพัฒนา ( development ) ก่อนที่จะนำขึ้นใช้งานจริง ( production ) อาจจะต้องรักษาข้อมูลทั้งหมดในเว็บไซต์ให้เป็นความลับ เราอาจจะคิดว่าสร้างเว็บไซต์และเก็บไว้ใน sub directory คงไม่ใครรู้ ถ้าไม่ได้ส่งให้ใคร แต่ในความเป็นจริง Web Robots ได้เก็บข้อมูลเว็บไซต์ของเราไปแล้ว และถ้าเราลองพิมพ์คำสั่ง site:www.your-domain.com ใน addresss bar ของเว็บเบราว์เซอร์ จะเห็นว่ามีรายการเว็บไซต์ที่เป็นความลับอยู่ในลิสต์รายการด้วย

สร้างไฟล์ robots.txt

เราสามารถสร้างไฟล์ robots.txt โดยใช้โปรแกรม editor ทั่วไป และสามารถเขียนคำสั่งลงไปได้ แต่มีกฏอยู่ว่าไฟล์ต้องมีชื่อว่า robots.txt เท่านั้น


วิธีสร้างไฟล์ robots.txt

ตัวอย่างคำสั่งใน robots.txt

  • อนุญาติให้ทุก Web Robots
  • อนุญาติเฉพาะ Google Web Robots เท่านั้น
  • ไม่อนุญาติให้ทุก Web Robots เก็บข้อมูลใด ๆ ในเว็บไซต์
  • อนุญาติให้ทุก Web Robots เก็บข้อมูลในเว็บไซต์ได้ทั้งหมด
  • ไม่อนุญาติให้ทุก Web Robots เก็บข้อมูลใน directory ในรายชื่อ


อัพโหลดไฟล์ robots.txt

หลังจากที่เราสร้างไฟล์ robots.txt และเขียนคำสั่งต่าง ๆ เรียบร้อยแล้ว ให้อัพโหลดไฟล์ไปไว้ใน top-level directory ของเว็บไซต์ อาจจะเป็นโฟลเด้อ public_html หรือ htdocs อยู่ทีว่า web server ของเราเป็นระบบปฏิบัติการอะไร ตัวอย่างเช่น https://www.your-domain.com/robots.txt

กระทู้ใกล้เคียง

วิธีทำเว็บ ให้โหลดเร็ว เทคนิคเพิ่มความเร็วให้เว็บไ... วิธีทำเว็บ ให้โหลดเร็ว เทคนิคเพิ่มความเร็วให้เว็บไซต์ วิธีทำเว็บ ให้โหลดเร็ว เคยไหมครับที่คลิกลิงค์ข่าวจาก facebook เพราะอ่านคำโปรยแล้ว อยากจะเข้...
ทำเว็บไซต์ ด้วย CSS3 Media Query คืออะไร และการใช... ทำเว็บไซต์ CSS3 Media Query คืออะไร เขียนคำสั่ง CSS ให้ทำงานในขนาดหน้าจอที่แตกต่างกัน ทำเว็บไซต์ ด้วย CSS3 Media Query คือคุณสมบัติที่มีอยู่ในภาษา...
Mobile Friendly คืออะไร มีผลกับอันดับค้นหาอย่างไร... Mobile Friendly คืออะไร มีผลกับอันดับค้นหาอย่างไร คุณสมบัติสำคัญที่เว็บไซต์สมัยใหม่ จำเป็นต้องมี การที่ผู้ใช้อินเตอร์เนตทั่วไปสามารถเข้าชมเว็บไซต์...
Webfont ภาษาไทย จัดการให้ใช้งานได้ทุก Browser... Webfont ภาษาไทย จัดการให้ใช้งานได้ทุก Browser ต้องเข้าใจว่าปัจจุบันมีจำนวนเบราว์เซอร์ให้ผู้ใช้งานอินเตอร์เนตเลือกใช้งานอยู่หลายค่ายและแต่ละเบราว์...