فایل robots.txt (که پروتکل یا استاندارد حذف روبات نیز نامیده می شود). این فایل متنی کوچک بخشی از هر وب سایت در اینترنت است و چیزی که مدیران سایت نمی دانند این است که در مدت زمان کوتاهی نقش بسیار مهمی در سئو بازی می کند.
به همین دلیل تکنیکی که امروز در مورد آن به شما می گویم یکی از بهترین هاست یک فایل Robots.txt ایجاد کنید.
در حرفه خود به عنوان یک متخصص سئو، با مشتریان زیادی برخورد کرده ام که از رتبه پایین موتورهای جستجو رنج می برند.
وقتی به آنها می گویم که فقط باید یک فایل متنی کوچک را ویرایش کنند، اکثر آنها باور نمی کنند.
برای استفاده از قدرت robots.txt به هیچ تجربه ای نیاز ندارید. تا آخر بخوانید و مطمئناً چیزهایی را یاد خواهید گرفت که قبلاً نمی دانستید و من دقیقاً به شما نشان خواهم داد که چگونه یک فایل Robots.txt ایجاد کنید مورد پسند موتورهای جستجو
فایل robots.txt چیست؟
Robots.txt یک فایل متنی است که توسط وب مسترها ایجاد شده و به عنکبوت های موتورهای جستجو نحوه خزیدن و بایگانی صفحات در یک سایت را آموزش می دهد.
فایل robots.txt بخشی از Robots Exclusion Protocol (REP) است، مجموعه ای از استانداردهای وب که نحوه خزیدن ربات ها در وب، دسترسی و فهرست بندی محتوا و ارائه آن محتوا به کاربران را تنظیم می کند. یک REP همچنین شامل دستورالعملهایی مانند متا روباتها و همچنین دستورالعملهای صفحه، زیردایرکتوری یا دستورالعملهای سراسر سایت برای نحوه برخورد موتورهای جستجو با لینکها (مانند «Dofollow» یا «Nofollow») است.
در عمل، فایلهای robots.txt نشان میدهند که آیا روباتها میتوانند بخشهایی از یک وبسایت را بخزند یا نه. این دستورالعملهای خزیدن با «عدم مجاز کردن» یا «مجاز کردن» یک کاربر خاص (یا همه آنها) مشخص میشوند.
بنابراین به طور خلاصه، یک فایل Robots.txt فایلی است که به عنکبوتهای موتورهای جستجو میگوید که صفحات یا بخشهای خاصی از یک وبسایت را نخزند.
چرا فایل Robots.txt مهم است؟
در واقع، اکثر وب سایت ها به فایل robots.txt نیاز ندارند.
این به این دلیل است که گوگل معمولاً می تواند تمام صفحات مهم سایت شما را پیدا و فهرست کند. به طور خودکار صفحاتی را که مهم نیستند یا تکراری از صفحات دیگر هستند فهرست نمی کند.
با این حال، 3 دلیل اصلی برای استفاده از robots.txt وجود دارد.
- مسدود کردن صفحات ناخواسته: گاهی اوقات صفحاتی در سایت خود دارید که نمی خواهید ایندکس شوند. به عنوان مثال، هنگامی که در حال ساخت صفحات جدید و ناتمام هستید، صفحه ورود، صفحه پرداخت و سبد کالا برای وب سایت های تجارت الکترونیکی.
این صفحات باید وجود داشته باشند. اما بدون اضافه شدن مهم به سایت. این موردی است که از robots.txt برای جلوگیری از ورود این صفحات به خزندهها و رباتهای موتور جستجو استفاده میکنید.
- بودجه خزیدن خود را به حداکثر برسانید: اگر برای ایندکس شدن همه صفحات خود مشکل دارید، ممکن است با بودجه خزیدن خود مشکل داشته باشید. با مسدود کردن صفحات ناخواسته با robots.txt، Googlebot می تواند بیشتر از بودجه خزیدن خود را فقط در صفحات مهم خرج کند.
- جلوگیری از نمایه سازی منابع: استفاده از دستورالعمل های توصیفی می تواند درست مانند فایل Robots.txt برای جلوگیری از ایندکس شدن صفحات کار کند. با این حال، دستورالعمل های توصیفی برای منابع، مانند PDF و تصاویر برچسب، به خوبی کار نمی کنند. اینجاست که robots.txt وارد می شود.
می توانید بررسی کنید که چند صفحه را در کنسول جستجوی گوگل ایندکس کرده اید.
اگر شماره با تعداد صفحاتی که می خواهید فهرست کنید مطابقت دارد، لازم نیست نگران فایل Robots.txt باشید.
اما اگر این عدد بیشتر از چیزی است که انتظار داشتید (و متوجه URL های نمایه شده ای شده اید که نباید ایندکس شوند)، وقت آن است که یک فایل robots.txt ایجاد کنید به وب سایت شما
فایل robots.txt خود را پیدا کنید
اگر فقط می خواهید به سرعت به فایل robots.txt خود نگاه کنید، یک راه بسیار آسان برای مشاهده آن وجود دارد.
در واقع این روش برای هر سایتی جواب می دهد. بنابراین می توانید به فایل های سایت های دیگر نگاهی بیاندازید و ببینید آنها در حال انجام چه کاری هستند.
تنها کاری که باید انجام دهید این است که URL متعارف سایت را در نوار جستجوی مرورگر خود تایپ کنید (به عنوان مثال seovalide.com، quicksprout.com، و غیره). سپس فایل robots.txt را به انتها اضافه کنید.
به فایل Robots.txt ما نگاهی بیندازید. https://seovalide.com/robots.txt
چگونه یک فایل Robots.txt ایجاد کنیم
اگر یک صفحه robots.txt معتبر ایجاد کنید، میتوانید به رباتهای موتور جستجو (مخصوصا Googlebot) بگویید که از صفحات خاصی اجتناب کنند.
به پیامدها فکر کنید. اگر به رباتهای موتور جستجو بگویید فقط مفیدترین محتوا را بخزند، رباتها سایت شما را فقط بر اساس آن محتوا میخزند و فهرست میکنند.
همانطور که گوگل گفت:
“شما نمی خواهید سرور شما توسط خزنده گوگل غرق شود یا بودجه خزیدن را برای خزیدن صفحات بی اهمیت یا مشابه در سایت شما هدر دهد.”
با استفاده از فایل robots.txt به روش صحیح، می توانید به ربات های موتور جستجو بگویید که بودجه خزیدن خود را عاقلانه خرج کنند. این همان چیزی است که robots.txt را در زمینه سئو بسیار مفید می کند.
به عنوان یک فایل متنی، در واقع می توانید با دفترچه یادداشت ایجاد کنید. صرف نظر از نحوه ایجاد فایل robots.txt، فرمت دقیقاً یکسان است:
عامل کاربر: X
مجاز: Z
غیر مجاز: Y
عامل کاربر همان رباتی است که با آن صحبت می کنید. و هر چیزی که بعد از “عدم اجازه” می آید صفحات یا بخش هایی هستند که می خواهید مسدود کنید
همه چیز بعد از «مجاز» همان چیزی است که میخواهید به رباتها اجازه خزیدن و فهرستبندی را بدهید.
در اینجا یک مثال است:
عامل کاربر: googlebot
غیر مجاز: /images
این قانون به Googlebot می گوید که پوشه تصاویر وب سایت شما را ایندکس نکند. می توانید از یک ستاره نیز استفاده کنید
برای صحبت با همه ربات های خزنده.
در اینجا یک مثال است:
عامل کاربر: *
غیر مجاز: /images علامت بگو “*”
همه عنکبوت ها به پوشه تصاویر خزیده نشوند.
یک فایل robots.txt ایجاد کنید
ربات ها txt
Msnbot، discobot و Slurp به طور خاص نامیده می شوند، بنابراین آنها فقط به دستورالعمل های بخش های خود در فایل robots.txt توجه می کنند.
همه عوامل کاربر دیگر دستورالعمل های موجود در عامل کاربر را دنبال می کنند.
عامل کاربر: *
خوب، شما هنوز در تصمیم گیری برای ایجاد فایل Robots.txt خود مشکل دارید.
من برای هر کدام یکی به شما اختصاص داده ام
کافیست آن را دانلود کنید و راه را برای افزودن در مرحله بعد دنبال کنید. همچنین، در صورت تمایل به هر گونه افزودنی، فایل نمونه ما را ببینید:
https://seovalide.com/robots.txt
شرایط فایل robots.txt
- پنج اصطلاح رایج وجود دارد که احتمالاً در یک فایل robots.txt با آنها مواجه خواهید شدعامل کاربر
خزنده: خزندهای که دستورالعملهای خزیدن را به آن میدهید (معمولاً یک موتور جستجو). لیستی از اکثر عوامل کاربر را می توان در اینجا یافتاینجا - .غیر مجاز
- : به ربات خزنده می گوید که یک URL خاص را خزید. اجازه
- (فقط برای Googlebot اعمال می شود) به آن می گوید که می توان به یک صفحه یا زیرپوشه دسترسی داشت حتی اگر توسط خزنده های دیگر مجاز نباشد.خزیدن-تاخیر
: تعداد ثانیه هایی که خزنده باید قبل از بارگیری و خزیدن محتوای صفحه منتظر بماند. - Googlebot این را تأیید نمی کند، اما نرخ خزیدن را می توان در کنسول جستجوی Google تنظیم کرد.نقشه سایت
: برای فراخوانی نقشه های سایت XML استفاده می شود.
این دستور فقط توسط گوگل، Ask، Bing و Yahoo پشتیبانی می شود.
چگونه یک فایل Robots.txt را به سایت خود اضافه کنید و آن را بررسی کنید
فایل robots.txt را آپلود کنید از طریق لینک زیر از موجود بودن آن اطمینان حاصل کنید https://example.com/robots.txt
نام را به نام دامنه خود تغییر دهید
(توجه داشته باشید که robots.txt به حروف کوچک و بزرگ حساس است. پس حتما از یک “r” کوچک در نام فایل استفاده کنید)
خطاها را بررسی کنید بسیار مهم است که فایل robots.txt شما به درستی پیکربندی شده باشد. یک اشتباه می تواند سایت شما را نابود کند.
کنسول جستجوی گوگل ایندکس شد فایل robots.txt شما را به شما نشان می دهد…و هر گونه خطا و هشداری که پیدا می کند
همانطور که می بینید، ما عنکبوت ها را از خزیدن در صفحه مدیریت WP خود مسدود می کنیم.
ما همچنین از یک فایل robots.txt برای جلوگیری از خزیدن صفحات برچسب وردپرس که به طور خودکار تولید می شوند (برای کاهش محتوای تکراری) استفاده می کنیم.
robots.txt را برای سئو بهینه کنید
نحوه بهینه سازی فایل robots.txt به محتوای سایت شما بستگی دارد. راه های زیادی برای استفاده از robots.txt به نفع خود وجود دارد.
من به برخی از محبوب ترین راه های استفاده از آن می پردازم.
یکی از بهترین کاربردهای robots.txt افزایش بودجه خزیدن موتورهای جستجو با گفتن آنها به خزیدن در قسمتهایی از سایت شما است که ارزش افزوده ایجاد نمیکند. به عنوان مثال، اگر به فایل robots.txt سایت ما مراجعه کنید، می بینید که اجازه ورود به صفحه (wp-admin) را نمی دهد.
از آنجایی که این صفحه در قسمت پشتی سایت استفاده می شود، منطقی نیست که ربات های موتور جستجو وقت خود را برای خزیدن در آن تلف کنند.
(اگر وردپرس دارید، می توانید از همان خط Disallow استفاده کنید).
شما می توانید از دستور (یا دستور) مشابهی برای جلوگیری از خزیدن ربات ها در صفحات خاص استفاده کنید. پس از رد کردن، بخشی از URL را که بعد از .com آمده است وارد کنید. آن را بین دو اسلش قرار دهید.
بنابراین اگر می خواهید به ربات بگویید که صفحه شما را نخزد http://yoursite.com/page/، می توانید این را بنویسید:
غیر مجاز: /page/
چه صفحاتی باید مسدود شوند؟
ممکن است به طور خاص تعجب کنید که چه نوع صفحاتی باید از فهرست بندی حذف شوند. در اینجا چند سناریو رایج وجود دارد: محتوای تکراری هدفمند:
اگرچه محتوای تکراری اغلب چیز بدی است، اما گاهی اوقات ضروری است.
خدمات سئو صفحه کم هزینه
در اینجا خواهید دید که محتوا با این صفحه یکسان است
فایل robots.txt صفحه پرداخت:
این صفحه یکی از مهم ترین صفحات در سایت های تجارت الکترونیک به حساب می آید. اما عزیزم بدون ارزش افزوده برای سایت شماست پس وقت خزنده ها را در آن تلف نکنید
چندین صفحه وجود دارد که باید مسدود شوند، اما من نمی توانم همه آنها را لیست کنم. هوشمند باشید و نوع صفحات مهم و غیر مهم خود را مشخص کنید.
فایل Robots.txt در مقابل Meta Help
دو چیز دیگر وجود دارد که باید بدانید: noindex و nofollow.
آیا میدانید دستور ممنوعیتی که از آن استفاده کردهایم؟ در واقع از ایندکس شدن صفحه جلوگیری نمی کند.
noindex و nofollow
به همین دلیل به noindex نیاز دارید. با دستور Disallow کار می کند تا مطمئن شود که ربات ها از صفحات خاصی بازدید یا فهرست نمی کنند.
اگر صفحههایی دارید که نمیخواهید ایندکس شوند، میتوانید از دستور Disallow و دستورالعمل noindex استفاده کنید:
غیر مجاز: /seo-on-page/
noindex: /seo-on-page/
می توانید از دستورالعمل های متا با ابزارهای SEO مانند yoast استفاده کنید.
در اینجا ما 51 بهترین ابزار رایگان سئو را ارائه کرده ایم که به شما در سئوی سایت کمک می کند.
اکنون، این صفحه در SERP ها ظاهر نمی شود.
در نهایت، دستورالعمل nofollow وجود دارد. به طور خلاصه، به رباتهای وب میگوید که لینکها را در صفحه جستجو نکنند. اما دستورالعمل nofollow کمی متفاوت اجرا خواهد شد زیرا در واقع بخشی از فایل robots.txt نیست.
با این حال، دستورالعمل nofollow همچنان ربات های وب را هدایت می کند، بنابراین همان مفهوم است. تنها تفاوت این است که در کجا رخ می دهد. کد منبع صفحه ای را که می خواهید تغییر دهید پیدا کنید و مطمئن شوید که بین نشانه ها قرار دارید<سر>
.
سپس این خط را بچسبانید:
مطمئن شوید که این خط را بین هیچ تگ دیگری قرار ندهید – فقط برچسب ها<سر>
.
اگر می خواهید هر دو دستورالعمل noindex و nofollow را اضافه کنید، از این خط کد استفاده کنید:
این به ربات های وب هر دو دستور را به طور همزمان می دهد.
- چیزهای سریعی که باید درباره robots.txt بدانید
- بهتر است فایل را در روت سایت اصلی قرار دهید تا راحت تر پیدا شود
- Robots.txt به حروف کوچک و بزرگ حساس است: نام فایل باید “robots.txt” باشد (نه Robots.txt، robots.TXT، و غیره).
- برخی از عوامل کاربر (رباتها) ممکن است فایل robots.txt شما را نادیده بگیرند. این امر به ویژه در مورد خزندههای شرورتر مانند رباتهای بدافزار یا خراشدهنده آدرس ایمیل رایج است.
- فایل /robots.txt در دسترس عموم: به سادگی یک فایل /robots.txt را به انتهای هر دامنه ریشه اضافه کنید تا دستورالعمل های آن وب سایت را ببینید (اگر آن وب سایت دارای فایل robots.txt باشد!). این بدان معناست که هر کسی میتواند ببیند شما کدام صفحات را انجام میدهید یا نمیخواهید خزیده شوند، بنابراین از آن برای پنهان کردن اطلاعات خصوصی کاربر استفاده نکنید.
هر زیر دامنه باید در یک دامنه ریشه robots.txt جداگانه استفاده شود. - این بدان معناست که هم blog.example.com و هم example.com باید فایلهای robots.txt خود را داشته باشند (در blog.example.com/robots.txt و example.com/robots.txt).
به طور کلی بهتر است نقشه های سایت مرتبط با این دامنه را در پایین فایل robots.txt خود نشان دهید.
در اینجا شما توضیح نحوه ایجاد فایل Robots.txt را به پایان می رسانید امیدوارم توضیحات کافی و واضح باشد
اگر سوالی دارید کامنت بزارید خوشحال میشم پاسخ بدم
