فایل robots.txt چیست؟

فایل  robots.txt  یک سند .txt است که حاوی دستورالعمل هایی برای فهرست کردن یک سایت خاص برای ربات های جستجو است. به موتورهای جستجو می گوید که کدام صفحات از یک منبع وب باید ایندکس شوند و کدام صفحات نباید ایندکس شوند. ربات جستجو که به سایت شما آمده است، اول از همه سعی می کند robots.txt را پیدا کند. اگر ربات فایل را پیدا نکرد، یا اگر اشتباه کامپایل شده باشد، ربات به صلاحدید خود سایت را بررسی می کند. این فابل در سئو سایت و ایندکس بسیار تاثیر گذار است.

نمایه سازی یک سایت جدید ممکن است زمان زیادی طول بکشد. بنابراین، مدیر وب سایت باید مراقب ایجاد فایل robots.txt صحیح به موقع باشد.

robots.txt چیست؟

این فایل حاوی متن ساده است که حداقل از دو خط تشکیل شده است. تعداد دقیق کلمات بر اساس نیاز افراد به ممنوع کردن یا اجازه خزیدن در صفحات خاص تعیین می شود. هر خط از فایل یک دستور در قالب یک دستورالعمل است. این بخش، دسته یا صفحه خاصی را توصیف می کند. هر بخش از یک خط جدید شروع می شود. Robots.txt در هر زمانی ویرایش می شود که نیاز به بستن موارد تکراری، داده های شخصی، قراردادهای کاربر یا صفحات جدید از فهرست باشد. برای انجام این کار، از طریق مدیر فایل بارگیری می شود و در رایانه ویرایش می شود. پس از ایجاد تغییرات، robots.txt به روز شده باید دوباره در سرور آپلود شود و در پیوند yoursite.ua/robots.txt بررسی شود ، جایی که yoursite.ua نام سایت است.

این فایل همچنین می تواند ایجاد شود تا نمایه سازی همه صفحات سایت را به طور همزمان ممنوع یا مجاز کند. همچنین می توان از آن برای مخفی کردن بخش های منابع برای ربات های مختلف استفاده کرد. اگر دستورالعمل های تجویز شده برای همه ربات ها اعمال شود، علامت "*" در انتهای خط اول قرار می گیرد.

 چه صفحات و فایل هایی با استفاده از robots.txt بسته می شوند؟

• صفحات دارای اطلاعات شخصی: اینها می توانند اسامی و شماره تلفن هایی باشند که بازدیدکنندگان در هنگام ثبت نام نشان می دهند، صفحات حساب شخصی، شماره کارت پرداخت. برای اهداف امنیتی، دسترسی به این اطلاعات باید با رمز عبور محافظت شود.
• صفحات کمکی که فقط با اقدامات کاربر خاص ظاهر می شوند: اینها شامل پیام‌هایی درباره سفارش با موفقیت تکمیل شده، فرم‌های مشتری، مجوزها یا صفحات بازیابی رمز عبور است.
• پنل مدیریت و فایل های سیستم: فایل های داخلی و خدماتی که مدیر سایت با آنها تعامل دارد.
• جستجو و مرتب سازی صفحات:  صفحاتی که بر اساس درخواست مشخص شده در کادر جستجوی سایت نمایش داده می شوند، به عنوان یک قاعده، خزیدن را ممنوع می کنند. همین امر در مورد نتایج مرتب‌سازی کالاها بر اساس قیمت، رتبه‌بندی و سایر معیارها صدق می‌کند. سایت های جمع کننده ممکن است یک استثنا باشند.
• صفحات را فیلتر کنید: نتایجی که پس از اعمال فیلتر ها نمایش داده میشوند (اندازه، رنگ، سازنده و ...) صفحات جداگانه ای هستند و می توانند به عنوان محتوای تکراری در نظر گرفته شوند. سئوکاران تمایل دارند خزیدن خود را محدود کنند، به جز زمانی که برای جستجوهای مارک دار و سایر پرس و جوهای هدفمند ترافیک وارد می کنند.
• فایل های با فرمت خاص: اینها ممکن است شامل عکس ها، فیلم ها، اسناد PDF، اسکریپت های JS باشد. با استفاده از txt، می توانید اسکن فایل ها را هم به صورت جداگانه و هم با پسوند خاص محدود کنید.

بیشتر بخوانید

• افزونه wp rocket و نقش آن در سرعت سایت
• لینک دوفالو چیست؟ و چه کاربردی در سئو دارد
• ابزار GTmetrix آنالیز سرعت سایت
• لینک بیلدینگ چیست؟
• لینک نوفالو چیست؟

از کجا می توانیم فایل ROBOTS.TXT را پیدا کنیم؟

اگر می‌خواهید فایل robots.txt را پیدا کنید، آن را در ریشه سایت خود، جایی که همه پوشه‌ها و فایل‌های وبلاگ شما در آن قرار دارند، پیدا خواهید کرد. برای دسترسی به آن، می توانید از پروتکل انتقال فایل FTP با   یک برنامه انتقال فایل مانند FileZilla  استفاده کنید. برای بررسی اینکه آیا فایل robots.txt در سایت شما وجود دارد یا خیر، مسیر فایل را مانند این در نوار آدرس مرورگر تایپ کنید: http://www.my-site.com/robots.txt.

اگر فایل robots.txt   در ریشه سایت شما باشد، نمایش داده می شود و به روبات ها اجازه می دهد تا دستورالعمل های موجود در آن را دنبال کنند. اگر فایل robots.txt وجود نداشته باشد خطای 404 نمایش داده می شود و ربات ها در نظر میگیرند که محتوای ممنوعه ای وجود ندارد. وب سایت فقط یک فایل ربات دارد و نام آن باید با حروف کوچک (robots.txt) صحیح باشد.

چگونه یک فایل robots.txt ایجاد کنیم؟

برای ایجاد فایل robots.txt سایت خود، باید بتوانید به ریشه سایت خود دسترسی داشته باشید. فایل robots.txt به صورت دستی تولید می شود یا به طور پیش فرض توسط اکثر سیستم های مدیریت محتوا مانند WordPress در هنگام نصب تولید می شود. همچنین امکان ایجاد پروفایل خود برای ربات ها با استفاده از ابزار آنلاین وجود دارد.

برای ایجاد فایل robots.txt به صورت دستی می توانید از هر ویرایشگر متنی ساده ای مانند Notepad ++ یا  Sublime txt استفاده کنید و باید دقت کنید که دستورالعمل ها را به درستی بنویسید و دستورالعمل ها را فردی کنید تا در هر خط یکی باشند و خطوط خالی نگذارید.. سپس فایل متنی را در قسمت Name robots.txt بدون خطا ذخیره کنید و سپس از طریق FTP در روت سایت خود آپلود کنید.

محتویات فایل robots.txt را درک کنید

فایل robots.txt به ربات‌های مختلف می‌گوید که چه چیزی باید و چه چیزی نباید در وب‌سایت شما بخزند. برای این کار از مجموعه ای از دستورات استفاده می کند. سه تا از این دستورات که اغلب استفاده خواهید کرد عبارتند از User-Agent، Allow Disallow.

• User-Agent این دستوری است که مکان‌هایی را که ربات‌ها مجاز به دسترسی هستند، مشخص می‌کند. می توانید آن را روی مقداری تنظیم کنید تا همه ربات ها را هدف قرار دهد. همچنین می‌توانید فهرست ربات‌ها را با تعیین مقادیری مانند GooglebotوBingbot محدود کنید. اینها برخی از محبوب ترین خزنده ها برای موتورهای جستجوی گوگل و بینگ هستند.
• Allow این گزینه به شما امکان می دهد صفحه وب یا پوشه ای را در وب سایت خود مشخص کنید که به آن دسترسی رایگان می دهید. به خاطر داشته باشید که هر مقداری که مشخص می کنید باید نسبت به پوشه root یعنی پوشه والد باشد.
• Disallowاز سوی دیگر، به شما می گوید که در کدام مکان ها نباید ربات ها خزیده شوند. شما فقط مجاز به ارسال یک پوشه یا صفحه وب در هر سفارش Allow Disallow دستور هستید. با این حال، می توانید از چند دستور Allow Disallow دستورات در یک گروه استفاده کنید.

چگونه می توانیم از فایل robots.txt استفاده کنیم؟

اگر میخواهید از این فایل استفاده کنید ولی تخصصی در این زمینه ندارید. ب تر است به شرکت طراحی سایت زر کیا مراجعه کنید. زیرا زر کیا یکی از بهترین و معتبر ترین شرکت های ایرانی می باشد که در این زمینه مشغول به فعالیت می باشد.

سوالات متداول

رابطه Robots.txt با سئو چیست؟

از نظر سئو ، robots.txt به شما اجازه می دهد :

• از ایندکس کردن محتوای تکراری توسط ربات ها خودداری کنید،
• ارسال نقشه سایت به ربات ها برای نمایش نشانه هایی از URL هایی که باید ایندکس شوند،
• حذف صفحات بی کیفیت در سایت شما توسط ربات ها برای اطمینان از اینکه محتوای خوب در موتور جستجوی گوگل ظاهر می شود.

چگونه فایل robots.txt سایت خود را تست می کنیم؟

برای آزمایش فایل robots.txt سایت خود، تنها کاری که باید انجام دهید این است که یک وب سایت ایجاد کنید و آن را در کنسول جستجوی گوگل احراز هویت کنید.