مجموعاَ پنج امر اصلی در پوشه robots.txt وجود داراست آموزش سئو در مشهد که در پی با آنها آشنا خواهید شد:
فرمان user-agent
امر user-agent به تنهایی نمی‌تواند یک امر بدون نقص باشد، بلکه بایستی در کنار یکی‌از سه فرمان بعدی مصرف شود. این امر نوع رباتی که می بایست از اوامر بعدی اطاعت نماید را معلوم می‌نماید.
مثلا در صورتی قصد داشته باشید برای ربات‌های گوگل دستوری صادر فرمایید، اسم ربات‌های گوگل (googlebot) را می‌نویسید. هم‌اینگونه درصورتی که امر برای تک تک ربات‌هاست بایستی در مقابل user-agent: از نماد ستاره (*) استعمال شود.
امر disallow
بعداز اینکه ربات‌های موردنظر معین شدند، وقت آن میباشد تا برایشان فرمان صادر خواهد شد. امر disallow در معنای «اذن ندادن» میباشد. بدین ترتیب طبعاً بایستی صفحاتی را که ربات نام برده نباید کرول نماید (بخزد) را در مقابل آن نوشت. اعتنا داشته باشید که روت دامین نباید نوشته گردد و تنها بعداز اسلش را بنویسید. نکته دیگر اینکه، در صورتی‌که قصد دارید تعدادی برگه را disallow فرمائید، می بایست یک سری فرمان disallow بنویسید. به نمونه تحت اعتنا نمایید:
User-agent: *
Disallow: /products/content/
Disallow: /local/enterprise/confirm
Disallow: /researchtools/ose/
Disallow: /page-strength/*
Disallow: /thumbs/*
فرمان allow
فرمان allow در معنای اذن دادن میباشد و همان گونه که پیش بینی می‌زنید به ربات‌های معین‌گردیده اذن میدهد صفحاتی را که در مقابل این امر نوشته می گردند بخزند.
اما تایپ کردن این امر ضرورتی ندارد؛ چراکه ربات‌ها به طور پیش‌فرض آحاد صفحه ها وب سایت را میخزند. با این حالا بعضا وبمستران برای تأکید بر بعضا صفحه ها سایتشان، از فرمان allow به کار گیری می‌نمایند. طریق به کارگیری از فرمان allow نیز دقیقاً مانند امر disallow میباشد.
امر crawl-delay
این امر قادر است بر سرعت بار گذاری صفحه های سایتتان اثر بگذارد. براین اساس سرعت تارنما به جهت ورود خیل عظیم خزنده‌ها کاهش پیدا نمی‌نماید. شما می توانید عددی را در مقابل این امر تایپ فرمائید. این عدد آرم می دهد که ربات‌های رقم خورده می بایست به آن مقدار ثانیه شکیبایی کرده و بعد از آن وبسایت را بخزند. ولی دقت داشته باشید که‌این فرمان برای ربات‌های گوگل اثر ندارد.
فرمان sitemap
در مقابل این فرمان بایستی نشانی تارنما مپ را وارد نمائید. این امر نیازی به امر user-agent ندارد.
مجموعاَ پنج امر اصلی در پوشه robots.txt وجود داراست آموزش سئو در مشهد که در پی با آنها آشنا خواهید شد:
فرمان user-agent
امر user-agent به تنهایی نمی‌تواند یک امر بدون نقص باشد، بلکه بایستی در کنار یکی‌از سه فرمان بعدی مصرف شود. این امر نوع رباتی که می بایست از اوامر بعدی اطاعت نماید را معلوم می‌نماید.
مثلا در صورتی قصد داشته باشید برای ربات‌های گوگل دستوری صادر فرمایید، اسم ربات‌های گوگل (googlebot) را می‌نویسید. هم‌اینگونه درصورتی که امر برای تک تک ربات‌هاست بایستی در مقابل user-agent: از نماد ستاره (*) استعمال شود.
امر disallow
بعداز اینکه ربات‌های موردنظر معین شدند، وقت آن میباشد تا برایشان فرمان صادر خواهد شد. امر disallow در معنای «اذن ندادن» میباشد. بدین ترتیب طبعاً بایستی صفحاتی را که ربات نام برده نباید کرول نماید (بخزد) را در مقابل آن نوشت. اعتنا داشته باشید که روت دامین نباید نوشته گردد و تنها بعداز اسلش را بنویسید. نکته دیگر اینکه، در صورتی‌که قصد دارید تعدادی برگه را disallow فرمائید، می بایست یک سری فرمان disallow بنویسید. به نمونه تحت اعتنا نمایید:
User-agent: *
Disallow: /products/content/
Disallow: /local/enterprise/confirm
Disallow: /researchtools/ose/
Disallow: /page-strength/*
Disallow: /thumbs/*
فرمان allow
فرمان allow در معنای اذن دادن میباشد و همان گونه که پیش بینی می‌زنید به ربات‌های معین‌گردیده اذن میدهد صفحاتی را که در مقابل این امر نوشته می گردند بخزند.
اما تایپ کردن این امر ضرورتی ندارد؛ چراکه ربات‌ها به طور پیش‌فرض آحاد صفحه ها وب سایت را میخزند. با این حالا بعضا وبمستران برای تأکید بر بعضا صفحه ها سایتشان، از فرمان allow به کار گیری می‌نمایند. طریق به کارگیری از فرمان allow نیز دقیقاً مانند امر disallow میباشد.
امر crawl-delay
این امر قادر است بر سرعت بار گذاری صفحه های سایتتان اثر بگذارد. براین اساس سرعت تارنما به جهت ورود خیل عظیم خزنده‌ها کاهش پیدا نمی‌نماید. شما می توانید عددی را در مقابل این امر تایپ فرمائید. این عدد آرم می دهد که ربات‌های رقم خورده می بایست به آن مقدار ثانیه شکیبایی کرده و بعد از آن وبسایت را بخزند. ولی دقت داشته باشید که‌این فرمان برای ربات‌های گوگل اثر ندارد.
فرمان sitemap
در مقابل این فرمان بایستی نشانی تارنما مپ را وارد نمائید. این امر نیازی به امر user-agent ندارد.
روش های تولید محتوای خلاقانه