همینطور شما با فرمان Disallow & Allow این قابلیت را دارید که فولدرها، مسیرها و نشانیهای خویش را به طور انتخابی در دسترس قرار دهید. به عنوان مثالً مواقعی که کد Disallow در کنار آن ها درج گردیدهاست، برای دسترسی رباتها محصور میباشند و مواقعی هم که پیش از آن کد Allow وجود داراست، قابل دسترس خواهند بود. بنابراین خیلی شل و سریع می قدرت آحاد دسترسیها را با این اوامر، مدیر کرد.
Crawl-delay
راهبرد Crawl-delay یا این که نرخ مکث، این قابلیت را برای شما مهیا میسازد تا به رباتهای موتورهای کاوش بگویید که رسیدگی و ایندکس صفحه ها را به دفعه و با مقدار فرصت مشخص و معلوم گردیده به وسیله شما اجرا دهند. از جمله، با قرار دادن این کد در پوشه robot.txt شما به برخی موتورهای کاوش مثل بینگ و یاهو اعلام میکنید که پس از ایندکس هر برگه، 10 ثانیه حوصله نمایند و آن گاه ایندکس برگه آینده را استارت کنند. سئو در مشهد اما عدد 10 ثانیه قابل تغییرو تحول میباشد و میتواند مبتنی بر با خواست شما نادر یا این که زیاد خواهد شد.
Site map
امرالعمل تارنما مپ یا این که نقشه تارنما، به موتورهای کاوش میفهماند که پوشه XML نقشه وبسایت را به چه شکل پیدا نموده است. با اینکه برای تصویب نقشه وب سایت در موتورهای کاوش نحوههای زیادی مثل از ابزارهای وبمستری موتورهای کاوش وجود داراست، البته اینشیوه یکی طرزهای آسوده و معدود دردسر میباشد. با این حالا، وقتی که قصد به استعمال از این شیوه گرفتید، کد دستوری تحت را در فولدر robots.txt اضافه نمائید.
Site map: https:// example.com/ site map.xml
به عبارتیطور که در نمونه بالا هم به طور کاملً مشخص و معلوم میباشد، می بایست نشانی ظریف نقشه تارنما در آن وارد گردد.
چه گونه پوشه robots.txt بسازیم؟
قبل از تشکیل داد فولدر robots.txt آغاز پژوهش نمائید کهاین پوشه متنی در سرور وب سایت شما وجود داراست یا این که نه. برای مشخص و معلوم شدن این مورد، نشانی www. Example.com/robots.txt را تایپ فرمایید. در صورتیکه ارور 404 به شما علامت داده شد، به این مفهوم میباشد کهاین پوشه پیش از این ساخته نشده میباشد.
برای تشکیل داد یک پوشه متنی، در لاین نخستین user agent جای دارد که به شما میگوید می خواهید از کدام تارنما جستجو گر به کارگیری فرمایید. چنانچه که می خواهید از گوگل یاری بگیرید، بایستی در جلوی آن googlebot درج خواهد شد؛ ولی در صورتیکه می خواهید کلیه رباتها اذن دسترسی به وبسایت شمارا داشته باشند، پیش از آن نماد استار را قرار دهید. در مرحله آینده بایستی کدهای Allow و Disallow نوشته شوند.
به کارگیری از این کدها برای مواردی میباشد مدیران تارنماها دوست نداشته باشند گوگل به تک تک نصیبهای وب سایت آن ها دسترسی پیدا نماید؛ براین اساس یک محدودیت و حریم برای آن قائل میگردند. ما یحتاج میباشد بدانید که درصورتی که می خواهید وب سایت شما تماما در گوگل اکران داده گردد، می بایست نقشه تارنما را در robots.txt قرار دهید تا گوگل بتواند به نقشه وب سایت شما دسترسی داشته و محدودیتها را برای بازدیدکنندگان از تارنما اکران دهد.
همینطور شما با فرمان Disallow & Allow این قابلیت را دارید که فولدرها، مسیرها و نشانیهای خویش را به طور انتخابی در دسترس قرار دهید. به عنوان مثالً مواقعی که کد Disallow در کنار آن ها درج گردیدهاست، برای دسترسی رباتها محصور میباشند و مواقعی هم که پیش از آن کد Allow وجود داراست، قابل دسترس خواهند بود. بنابراین خیلی شل و سریع می قدرت آحاد دسترسیها را با این اوامر، مدیر کرد.
Crawl-delay
راهبرد Crawl-delay یا این که نرخ مکث، این قابلیت را برای شما مهیا میسازد تا به رباتهای موتورهای کاوش بگویید که رسیدگی و ایندکس صفحه ها را به دفعه و با مقدار فرصت مشخص و معلوم گردیده به وسیله شما اجرا دهند. از جمله، با قرار دادن این کد در پوشه robot.txt شما به برخی موتورهای کاوش مثل بینگ و یاهو اعلام میکنید که پس از ایندکس هر برگه، 10 ثانیه حوصله نمایند و آن گاه ایندکس برگه آینده را استارت کنند. سئو در مشهد اما عدد 10 ثانیه قابل تغییرو تحول میباشد و میتواند مبتنی بر با خواست شما نادر یا این که زیاد خواهد شد.
Site map
امرالعمل تارنما مپ یا این که نقشه تارنما، به موتورهای کاوش میفهماند که پوشه XML نقشه وبسایت را به چه شکل پیدا نموده است. با اینکه برای تصویب نقشه وب سایت در موتورهای کاوش نحوههای زیادی مثل از ابزارهای وبمستری موتورهای کاوش وجود داراست، البته اینشیوه یکی طرزهای آسوده و معدود دردسر میباشد. با این حالا، وقتی که قصد به استعمال از این شیوه گرفتید، کد دستوری تحت را در فولدر robots.txt اضافه نمائید.
Site map: https:// example.com/ site map.xml
به عبارتیطور که در نمونه بالا هم به طور کاملً مشخص و معلوم میباشد، می بایست نشانی ظریف نقشه تارنما در آن وارد گردد.
چه گونه پوشه robots.txt بسازیم؟
قبل از تشکیل داد فولدر robots.txt آغاز پژوهش نمائید کهاین پوشه متنی در سرور وب سایت شما وجود داراست یا این که نه. برای مشخص و معلوم شدن این مورد، نشانی www. Example.com/robots.txt را تایپ فرمایید. در صورتیکه ارور 404 به شما علامت داده شد، به این مفهوم میباشد کهاین پوشه پیش از این ساخته نشده میباشد.
برای تشکیل داد یک پوشه متنی، در لاین نخستین user agent جای دارد که به شما میگوید می خواهید از کدام تارنما جستجو گر به کارگیری فرمایید. چنانچه که می خواهید از گوگل یاری بگیرید، بایستی در جلوی آن googlebot درج خواهد شد؛ ولی در صورتیکه می خواهید کلیه رباتها اذن دسترسی به وبسایت شمارا داشته باشند، پیش از آن نماد استار را قرار دهید. در مرحله آینده بایستی کدهای Allow و Disallow نوشته شوند.
به کارگیری از این کدها برای مواردی میباشد مدیران تارنماها دوست نداشته باشند گوگل به تک تک نصیبهای وب سایت آن ها دسترسی پیدا نماید؛ براین اساس یک محدودیت و حریم برای آن قائل میگردند. ما یحتاج میباشد بدانید که درصورتی که می خواهید وب سایت شما تماما در گوگل اکران داده گردد، می بایست نقشه تارنما را در robots.txt قرار دهید تا گوگل بتواند به نقشه وب سایت شما دسترسی داشته و محدودیتها را برای بازدیدکنندگان از تارنما اکران دهد.

اقدامات معمول سئوی خارجی