مرجع سئو در مشهد

شناخت با اوامر robots.txt
بی آلایش‌ترین پوشه robots.txt را می‌قدرت به یاری اوامر robots.txt سئو در مشهد پایین تشکیل داد:

User-agent

اسم ربات‌ها موتورهای کاوش یا این که قابل انعطاف‌افزارهای خزنده مو جود در سطح اینترنت میباشد.

لیست بی نقص ربات‌های جانور در سطح اینترنت را می توانید از پیوند ذیل ببینید:

http://www.robotstxt.org/db.html

Disallow

دستوری که مشخص و معلوم می‌نماید ربات‌ها به چه لینک و پیوند یا این که بخشی از تارنما نباید دسترسی داشته باشند.

اما یک فرمان دیگر به اسم Allow نیز در فولدر robots.txt به کار گیری می شود و آن‌هم وقتی میباشد که میخواهیم لینکی از وب سایت بوسیله ربات‌ها سنجیده شود البته آن لینک و پیوند در باطن پیوند والد دیگری جای دارد که دسترسی به پیوند والد برای ربات‌ها مسدود گردیده‌است.

گوگل ربات‌های زیادی دارااست، به‌تیتر‌نمونه Googlebot که برای کاوش صفحه ها اینترنت به کارگیری میشود یا این که Googlebot-image که برای کاوش تصاویر به وسیله گوگل مورداستفاده قرار می گیرد. معمولاً بیشتر ربات‌های گوگل از شرایطی که برای ربات مهم گوگل یعنی Googlebot احوال میگردد تقلید می‌نمایند؛ ولی بااین‌هم اکنون می‌اقتدار سوای پیش گویی این مورد، شرایطی را مختص هرمورد از گونه های ربات‌های گوگل در فولدر robots.txt نوشت.

روش به‌کارگیری و تایپ کردن این امرها robots.txt:
User-agent: [اسم رباطی که می خواهیم امرها نوشته‌گردیده را رعایت نماید]

Disallow: [لینکی که می خواهیم دسترسی ربات (ها) موردنظر به آن مسدود گردد]

Allow: [لینکی که میخواهیم به وسیله ربات موردنظر سنجیده شود البته در یک شاخه والد مسدود گردیده جای‌دارد]

User-agent: * [به کارگیری از کاراکتر * جهت کاربر قرار دادن کلیه ربات‌های مو جود سطح اینترنت است]

در پیاده‌سازی و تشکیل داد پوشه robots.txt می‌اقتدار ورودی‌های زیادی را داشت، می‌قدرت تعدادی امر Disallow را برای یک‌سری User-agent گوناگون به‌کارگیری کرد و … به‌طورکلی با شیوه‌های زیادی می‌قدرت ضوابط موردنظر خویش را برای دسترسی یا این که عدم دسترسی ربات‌های موتورهای کاوش برای نصیب‌های دلخواه تارنما نوشت.

اوامر robots.txt قابل‌به کارگیری برای مسدود کردن دسترسی‌ها
درخواست‌های مسدودسازی مثال کد و دستورها robots.txt
مسدود کردن دسترسی تک تک تارنما با کاراکتر اسلش (/) Disallow: /
مسدود کردن دسترسی به تک تک محتویات یک فایل یا این که یک شاخه از تارنما با بیان اسم فولدر میان دو کاراکتر اسلش Disallow: /sample-directory/
مسدود کردن دسترسی به یک ورقه مشخص و معلوم با بیان لینک و پیوند شیت موردنظر بعداز کاراکتر اسلش Disallow: /private_file.html
مسدود کردن دسترسی به یک تصویر خاص برای ربات منحصربه‌فرد تصاویر گوگل
User-agent: Googlebot-Image

Disallow: /images/dogs.jpg

مسدود کردن دسترسی به مجموع تصاویر وبسایت برای ربات منحصربه‌فرد تصاویر گوگل
User-agent: Googlebot-Image

Disallow: /

مسدود کردن دسترسی ربات گوگل به نوع خاصی از فولدر‌ها به‌تیتر‌نمونه فولدر‌هایی با پسوند.gif
User-agent: Googlebot

Disallow: /*.gif$

در حالتی که در صفحه ها وبسایت تبلیغات گوگل (AdSense) داشته باشیم و بخواهیم دسترسی ربات‌ها را مسدود کنیم ولی به ربات Mediapartners-Google اذن دسترسی بدهیم تا بتواند صفحه ها را تحقیق کند و بتواند تصمیم بگیرد که چه تبلیغاتی را برای بازدیدکنندگان وبسایت اکران دهد.
User-agent: *

Disallow: /

User-agent: Mediapartners-Google

Allow: /

دقت: امرها مورداستفاده در robots.txt به حروف خرد و تعالی حساس میباشند.

به‌تیتر‌نمونه:

فرمان Disallow: /file.asp دسترسی به شیت http://www.example.com/file.asp را مسدود می‌نماید ولی اذن دسترسی به برگه http://www.example.com/File.asp همچنان وجود دارااست. همینطور ربات گوگل از مسافت‌های مازاد و امرها ناشناخته و غیراستاندارد مصرف شده در robots.txt دیده‌پوشی می‌نماید.

بعداز ساخت‌و‌ساز پوشه robots.txt برای یک اینترنت‌تارنما، ربات‌های موتورهای کاوش طبق آن شغل کرده و قسمت‌هایی که اذن دسترسی ندارند را رسیدگی نخواهند کرد؛ ولی تا پیش از ساخت و افزودن این فولدر ممکن میباشد کلیه فولدر‌ها و صفحاتی که دسترسی آنها الآن مسدود گردیده است به وسیله موتورهای کاوش پژوهش و فهرست بندی گردیده باشند. می بایست شکیبا باشید تا با مرور مجال لیست آنان از گوگل بیرون خواهد شد.

بعضی الگوهای دستوری برای بی آلایش کردن امرها robots.txt
الگوهای دستوری مثال کد و دستورها robots.txt
مسدود کردن فولدر‌هایی که فن‌ای از حروف شبیه در نام خویش دارا‌هستند با به کارگیری از کاراکتر ستاره (*) در قسمتی از اسم که شبیه و تکراری میباشد.
به‌تیتر‌نمونه مسدود کردن آحاد زیرشاخه‌های تارنما که با واژه “private” استارت میشوند:

User-agent: Googlebot

Disallow: /private*/

مسدود کردن دسترسی پیوند‌هایی که در آنها کاراکتر نشانه سؤال (؟) وجود دارااست.
به‌تیتر‌نمونه مثال کد روبرو دسترسی ربات گوگل به پیوند‌های که پس از دامنه وبسایت یک فن دلخواه، آن‌گاه کاراکتر نماد سؤال و دوباره هر فن‌ای دیگری آن گاه آمده باشد را مسدود می گردد.

User-agent: Googlebot

Disallow: /*?

مسدود کردن دسترسی به لینک و پیوند‌هایی که به یک فرمت خاص ختم میشوند با به کارگیری از کاراکتر دلار ($)
به‌تیتر‌نمونه مثال کد روبرو دسترسی به لینک و پیوند‌های از تارنما که به.xls ختم میگردند را مسدود می‌نماید.

User-agent: Googlebot

Disallow: /*.xls$

مسدود کردن دسترسی برای الگوهایی که هم مشتمل بر امر Allow میباشند و هم Disallow
به‌تیتر‌نمونه در مثال کد روبرو کاراکتر؟ معلوم‌کننده یک session ID میباشد، معمولاً لینک و پیوند‌هایی که دربرگیرنده این آی‌دی‌ها می گردند بایستی برای ربات‌ها مسدود شوند تا نقص‌ رسیدگی صفحه های تکراری پیش نیاید. بااین‌هم اکنون ممکن میباشد لینک و پیوند برخی از صفحه ها (که میخواهیم به وسیله ربات‌ها نظارت شوند) به کاراکتر؟ ختم شوند که می بایست از ادغام دو فرمان Allow و Disallow به کارگیری کنیم.

User-agent: *

Allow: /*?$

Disallow: /*?

توضیح:

امر Allow: /*?$ اذن تحقیق لینک و پیوند‌هایی را می دهد که به کاراکتر؟ ختم میشوند و فرمان Disallow: / *? اذن رسیدگی همه لینک و پیوند‌هایی که مشمول کاراکتر؟ می شوند را مسدود می‌نماید.

برای تولید و احتکار کردن فولدر robots.txt بایستی قانون ها پایین را رعایت نمائید تا ربات گوگل و هم بقیه ربات‌ها بتوانند آن را به‌خیر و خوبی شناسایی و پیدا نمایند و هم بتوانند دستورها آن را بخوانند.

پوشه robotx.txt می بایست به‌شکل یک پوشه متنی با پسوند txt ذخیره خواهد شد.
این پوشه می بایست در بالاترین شاخه وب سایت قرار بگیرد. (روت مهم وبسایت)
نام فولدر دقیقاً بایستی robots.txt باشد.

انبار کردن فولدر robots.txt
نمونه: در‌حالتی که نشانی وبسایت example.com باشد پوشه robots.txt بایستی در شاخه اساسی وبسایت ذخیره خواهد شد تا ربات‌ها بتوانند آن را شناسایی و رسیدگی نمایند، یعنی در نشانی تحت:

http://www.example.com/robots.txt

البته در حالتی‌که پوشه robots.txt در نشانی مثال تحت قرار بگیرد هیچ‌یک از ربات‌ها نمی‌توانند آن را شناسایی نمایند:

http://www.example.com/not_root/robots.txt

می‌قدرت لینکی از وب سایت را در ابزار robots.txt tester وارد کرد تا این ابزار دقیقاً مانند ربات گوگل کار کرده و پوشه robots.txt وب سایت را تحقیق کند و تائیدیه مسدود بودن یا این که نبودن پیوند موردنظر برای دسترسی ربات‌های گوگل را مشخص و معلوم نماید.
اعتنا نمائید به کارگیری از robotx.txt به‌این مضمون‌ وجود ندارد که صفحه های تارنما پنهان باشند و یا این که در نتیجه ها کاوش اکران داده نشوند. ممکن میباشد لینک و پیوند صفحاتی که دسترسی رسیدگی آن ها بوسیله robots.txt برای ربات گوگل مسدود گردیده باشد در بقیه صفحه های یا این که وبسایت‌های دیگر قرار داشته باشد و وقتی که آن صفحه های بوسیله ربات گوگل پژوهش می شوند، خویش آن لینک و پیوند نیز مشاهده و در فهرست بندی‌های گوگل ذخیره و حتی‌در نتیجه ها کاوش نیز اکران داده خواهد شد، فارغ از اینکه هیچ ارتباطی به پوشه robots.txt داشته باشد

شناخت با اوامر robots.txt
بی آلایش‌ترین پوشه robots.txt را می‌قدرت به یاری اوامر robots.txt سئو در مشهد پایین تشکیل داد:

User-agent

اسم ربات‌ها موتورهای کاوش یا این که قابل انعطاف‌افزارهای خزنده مو جود در سطح اینترنت میباشد.

لیست بی نقص ربات‌های جانور در سطح اینترنت را می توانید از پیوند ذیل ببینید:

http://www.robotstxt.org/db.html

Disallow

دستوری که مشخص و معلوم می‌نماید ربات‌ها به چه لینک و پیوند یا این که بخشی از تارنما نباید دسترسی داشته باشند.

اما یک فرمان دیگر به اسم Allow نیز در فولدر robots.txt به کار گیری می شود و آن‌هم وقتی میباشد که میخواهیم لینکی از وب سایت بوسیله ربات‌ها سنجیده شود البته آن لینک و پیوند در باطن پیوند والد دیگری جای دارد که دسترسی به پیوند والد برای ربات‌ها مسدود گردیده‌است.

گوگل ربات‌های زیادی دارااست، به‌تیتر‌نمونه Googlebot که برای کاوش صفحه ها اینترنت به کارگیری میشود یا این که Googlebot-image که برای کاوش تصاویر به وسیله گوگل مورداستفاده قرار می گیرد. معمولاً بیشتر ربات‌های گوگل از شرایطی که برای ربات مهم گوگل یعنی Googlebot احوال میگردد تقلید می‌نمایند؛ ولی بااین‌هم اکنون می‌اقتدار سوای پیش گویی این مورد، شرایطی را مختص هرمورد از گونه های ربات‌های گوگل در فولدر robots.txt نوشت.

روش به‌کارگیری و تایپ کردن این امرها robots.txt:
User-agent: [اسم رباطی که می خواهیم امرها نوشته‌گردیده را رعایت نماید]

Disallow: [لینکی که می خواهیم دسترسی ربات (ها) موردنظر به آن مسدود گردد]

Allow: [لینکی که میخواهیم به وسیله ربات موردنظر سنجیده شود البته در یک شاخه والد مسدود گردیده جای‌دارد]

User-agent: * [به کارگیری از کاراکتر * جهت کاربر قرار دادن کلیه ربات‌های مو جود سطح اینترنت است]

در پیاده‌سازی و تشکیل داد پوشه robots.txt می‌اقتدار ورودی‌های زیادی را داشت، می‌قدرت تعدادی امر Disallow را برای یک‌سری User-agent گوناگون به‌کارگیری کرد و … به‌طورکلی با شیوه‌های زیادی می‌قدرت ضوابط موردنظر خویش را برای دسترسی یا این که عدم دسترسی ربات‌های موتورهای کاوش برای نصیب‌های دلخواه تارنما نوشت.

اوامر robots.txt قابل‌به کارگیری برای مسدود کردن دسترسی‌ها
درخواست‌های مسدودسازی مثال کد و دستورها robots.txt
مسدود کردن دسترسی تک تک تارنما با کاراکتر اسلش (/) Disallow: /
مسدود کردن دسترسی به تک تک محتویات یک فایل یا این که یک شاخه از تارنما با بیان اسم فولدر میان دو کاراکتر اسلش Disallow: /sample-directory/
مسدود کردن دسترسی به یک ورقه مشخص و معلوم با بیان لینک و پیوند شیت موردنظر بعداز کاراکتر اسلش Disallow: /private_file.html
مسدود کردن دسترسی به یک تصویر خاص برای ربات منحصربه‌فرد تصاویر گوگل
User-agent: Googlebot-Image

Disallow: /images/dogs.jpg

مسدود کردن دسترسی به مجموع تصاویر وبسایت برای ربات منحصربه‌فرد تصاویر گوگل
User-agent: Googlebot-Image

Disallow: /

مسدود کردن دسترسی ربات گوگل به نوع خاصی از فولدر‌ها به‌تیتر‌نمونه فولدر‌هایی با پسوند.gif
User-agent: Googlebot

Disallow: /*.gif$

در حالتی که در صفحه ها وبسایت تبلیغات گوگل (AdSense) داشته باشیم و بخواهیم دسترسی ربات‌ها را مسدود کنیم ولی به ربات Mediapartners-Google اذن دسترسی بدهیم تا بتواند صفحه ها را تحقیق کند و بتواند تصمیم بگیرد که چه تبلیغاتی را برای بازدیدکنندگان وبسایت اکران دهد.
User-agent: *

Disallow: /

User-agent: Mediapartners-Google

Allow: /

دقت: امرها مورداستفاده در robots.txt به حروف خرد و تعالی حساس میباشند.

به‌تیتر‌نمونه:

فرمان Disallow: /file.asp دسترسی به شیت http://www.example.com/file.asp را مسدود می‌نماید ولی اذن دسترسی به برگه http://www.example.com/File.asp همچنان وجود دارااست. همینطور ربات گوگل از مسافت‌های مازاد و امرها ناشناخته و غیراستاندارد مصرف شده در robots.txt دیده‌پوشی می‌نماید.

بعداز ساخت‌و‌ساز پوشه robots.txt برای یک اینترنت‌تارنما، ربات‌های موتورهای کاوش طبق آن شغل کرده و قسمت‌هایی که اذن دسترسی ندارند را رسیدگی نخواهند کرد؛ ولی تا پیش از ساخت و افزودن این فولدر ممکن میباشد کلیه فولدر‌ها و صفحاتی که دسترسی آنها الآن مسدود گردیده است به وسیله موتورهای کاوش پژوهش و فهرست بندی گردیده باشند. می بایست شکیبا باشید تا با مرور مجال لیست آنان از گوگل بیرون خواهد شد.

بعضی الگوهای دستوری برای بی آلایش کردن امرها robots.txt
الگوهای دستوری مثال کد و دستورها robots.txt
مسدود کردن فولدر‌هایی که فن‌ای از حروف شبیه در نام خویش دارا‌هستند با به کارگیری از کاراکتر ستاره (*) در قسمتی از اسم که شبیه و تکراری میباشد.
به‌تیتر‌نمونه مسدود کردن آحاد زیرشاخه‌های تارنما که با واژه “private” استارت میشوند:

User-agent: Googlebot

Disallow: /private*/

مسدود کردن دسترسی پیوند‌هایی که در آنها کاراکتر نشانه سؤال (؟) وجود دارااست.
به‌تیتر‌نمونه مثال کد روبرو دسترسی ربات گوگل به پیوند‌های که پس از دامنه وبسایت یک فن دلخواه، آن‌گاه کاراکتر نماد سؤال و دوباره هر فن‌ای دیگری آن گاه آمده باشد را مسدود می گردد.

User-agent: Googlebot

Disallow: /*?

مسدود کردن دسترسی به لینک و پیوند‌هایی که به یک فرمت خاص ختم میشوند با به کارگیری از کاراکتر دلار ($)
به‌تیتر‌نمونه مثال کد روبرو دسترسی به لینک و پیوند‌های از تارنما که به.xls ختم میگردند را مسدود می‌نماید.

User-agent: Googlebot

Disallow: /*.xls$

مسدود کردن دسترسی برای الگوهایی که هم مشتمل بر امر Allow میباشند و هم Disallow
به‌تیتر‌نمونه در مثال کد روبرو کاراکتر؟ معلوم‌کننده یک session ID میباشد، معمولاً لینک و پیوند‌هایی که دربرگیرنده این آی‌دی‌ها می گردند بایستی برای ربات‌ها مسدود شوند تا نقص‌ رسیدگی صفحه های تکراری پیش نیاید. بااین‌هم اکنون ممکن میباشد لینک و پیوند برخی از صفحه ها (که میخواهیم به وسیله ربات‌ها نظارت شوند) به کاراکتر؟ ختم شوند که می بایست از ادغام دو فرمان Allow و Disallow به کارگیری کنیم.

User-agent: *

Allow: /*?$

Disallow: /*?

توضیح:

امر Allow: /*?$ اذن تحقیق لینک و پیوند‌هایی را می دهد که به کاراکتر؟ ختم میشوند و فرمان Disallow: / *? اذن رسیدگی همه لینک و پیوند‌هایی که مشمول کاراکتر؟ می شوند را مسدود می‌نماید.

برای تولید و احتکار کردن فولدر robots.txt بایستی قانون ها پایین را رعایت نمائید تا ربات گوگل و هم بقیه ربات‌ها بتوانند آن را به‌خیر و خوبی شناسایی و پیدا نمایند و هم بتوانند دستورها آن را بخوانند.

پوشه robotx.txt می بایست به‌شکل یک پوشه متنی با پسوند txt ذخیره خواهد شد.
این پوشه می بایست در بالاترین شاخه وب سایت قرار بگیرد. (روت مهم وبسایت)
نام فولدر دقیقاً بایستی robots.txt باشد.

انبار کردن فولدر robots.txt
نمونه: در‌حالتی که نشانی وبسایت example.com باشد پوشه robots.txt بایستی در شاخه اساسی وبسایت ذخیره خواهد شد تا ربات‌ها بتوانند آن را شناسایی و رسیدگی نمایند، یعنی در نشانی تحت:

http://www.example.com/robots.txt

البته در حالتی‌که پوشه robots.txt در نشانی مثال تحت قرار بگیرد هیچ‌یک از ربات‌ها نمی‌توانند آن را شناسایی نمایند:

http://www.example.com/not_root/robots.txt

می‌قدرت لینکی از وب سایت را در ابزار robots.txt tester وارد کرد تا این ابزار دقیقاً مانند ربات گوگل کار کرده و پوشه robots.txt وب سایت را تحقیق کند و تائیدیه مسدود بودن یا این که نبودن پیوند موردنظر برای دسترسی ربات‌های گوگل را مشخص و معلوم نماید.
اعتنا نمائید به کارگیری از robotx.txt به‌این مضمون‌ وجود ندارد که صفحه های تارنما پنهان باشند و یا این که در نتیجه ها کاوش اکران داده نشوند. ممکن میباشد لینک و پیوند صفحاتی که دسترسی رسیدگی آن ها بوسیله robots.txt برای ربات گوگل مسدود گردیده باشد در بقیه صفحه های یا این که وبسایت‌های دیگر قرار داشته باشد و وقتی که آن صفحه های بوسیله ربات گوگل پژوهش می شوند، خویش آن لینک و پیوند نیز مشاهده و در فهرست بندی‌های گوگل ذخیره و حتی‌در نتیجه ها کاوش نیز اکران داده خواهد شد، فارغ از اینکه هیچ ارتباطی به پوشه robots.txt داشته باشد