بهینه سازی فایل وردپرس robot.txt

بهینه سازی بعضی از فایل های وردپرس نقش مهمی در سئو وبسایت دارد.در این مقاله روش بهینه سازی فایل وردپرس robot.txt را به شما یاد می دهیم. همچنین سعی داریم اهمیت این فایل را برای شما مشخص کنیم!!وردپرس robot.txt نقش مهمی در عملکرد کلی سئو وبسایت دارد. فایل وردپرس robot.txt با موتورهای جستجو ارتباط برقرار می کند. همچنین برای موتورهای جستجو مشخص می کند که چه بخش هایی از سایت را ایندکس کنند.

بهینه سازی فایل وردپرس robot.txt

شما برای معرفی نقشه XML سایت به موتورهای جستجو، می توانید از فایل وردپرس robot.txt استفاده کنید. زیرا این فایل دقیقا فایلی است که موتورهای جستجو در آن به دنبال نقشه xml سایت می گردند. مگر اینکه شما آن را در Google Webmaster Tools مشخص کرده باشید!

پس از اینکه اهمیت وردپرس robot.txt را دریافتید. در ادامه به ایجاد و بهینه سازی این فایل می پردازیم

فایل وردپرس robot.txt کجا قرار دارد و چگونه ساخته می شود؟

وردپرس robot.txt معمولا در روت هاست قرار دارد. با استفاده از FTP و یا file manager هاست می توانید به آن دسترسی داشته باشید. فایل وردپرس robot.txt را همانند هر فایل متنی می توانید با ویرایشگر متنی ساده مثل نوت پد باز کنید. حال برای ایجاد فایل وردپرس robot.txt همانند روش زیر عمل نمایید. روش ساخت این فایل بسیار ساده است!

اگر وردپرس robot.txt در هاست شما وجود ندارد، زودتر این فایل را ایجاد نمایید. برای ساخت فایل وردپرس robot.txt، ابتدا در سیستم خود یک فایل متنی (نوت پد) با نام robot.txt ایجاد کنید. سپس این فایل را در روت هاست آپلود نمایید.

نحوه استفاده از  فایل وردپرس robot.txt

پس از ایجاد وردپرس robot.txt، لازم است که شما اطلاعاتی برای استفاده از این فایل داشته باشید.
فرمت کلی فایل وردپرس robot.txt کاملا ساده است. در خط ابتدای این فایل، user agent ( عامل کاربر ) مشخص می شود. user agent در واقع نام ربات جستجو کننده است، که شما در تلاش برای برقراری ارتباط با آن هستید! برای مثال Googlebot (ربات گوگل) یا Bingbot (ربات بینگ).

نکته!! شما می توانید از علامت * برای دستور دادن به همه ربات ها استفاده کنید.

خطوط بعدی این فایل شامل دستورات Allow (اجازه دادن) یا Disallow (عدم اجازه) برای موتورهای جستجو است. از این طریق به موتورهای جستجو،
اعلام می کنید که چه بخش هایی را ایندکس کنند و چه بخش هایی را نمی توانند، ایندکس کنند.

کد زیر نمونه ای از فایل وردپرس robot.txt است:

<pre>User-Agent: *Allow: /wp-content/uploads/Disallow: /wp-content/plugins/Disallow: /readme.html</pre>

با توجه به مثال وردپرس robot.txt فوق داریم:

خط ۲، نشان دهنده ایندکس پوشه تصاویر آپلود شده توسط موتورهای جستجو است. یعنی موتورهای جستجو می توانند پوشه تصاویر را ایندکس کنند!

خط ۳ و ۴، نشان دهنده عدم ایندکس  پوشه افزونه ها و فایل readme.html توسط موتورهای جستجو است. به عبارتی موتورهای جستجو نمی توانند این دو بخش را با توجه به مثال فوق ایندکس کنند.

بهینه سازی فایل وردپرس robot.txt برای سئو وبسایت

حال نوبت به بهینه سازی آن می رسد. در ابتدا یک پیشنهاد برای وبمستران داریم!! گوگل به وبمستران توصیه می کند که، از این فایل برای مخفی سازی محتواهای با کیفیت پایین استفاده نکنند.

اگر این چنین فکر می کنید با استفاده از فایل وردپرس robot.txt از ایندکس شدن دسته بندی ها، آرشیو صفحات و… توسط گوگل جلوگیری کنید. متاسفانه فکر و کار شما نادرست است! پس بهتره که وظیفه این فایل را یادآوری کنیم.

یادآوری!! هدف وردپرس robot.txt، راهنمایی کردن ربات ها برای ایندکس مطالب سایت است. این فایل از خزیدن ربات ها در سایت شما جلوگیری نمی کند!!

اگر شما نمی خواهید بعضی از صفحات ایندکس شوند، می توانید از افزونه های وردپرس استفاده کنید. شما می توانید با نصب بعضی از افزونه های وردپرس، متا تگ هایی را همانند nofollow ،noindex را به آرشیو صفحات اضافه کنید. برای مثال از افزونه های سئو وردپرس استفاده کنید.

در ادامه نکات کلی را برای بهینه سازی این فایل برای شما می گوییم.

• مورد اول: صفحاتی همانند ورود، ثبت نام، مدیریت (admin) را لازم نیست به  فایل وردپرس robot.txt اضافه کنید. به دلیل اینکه صفحه ورود و ثبت نام دارای برچسب noindex هستند. در اینصورت قابل ایندکس نیستند!!
• مورد دوم: همچنین توصیه می شود فایل readme.html را در در این فایل، غیر مجاز (disallow) کنید. شاید بپرسید چرا؟؟

زیرا بعضی از افراد با استفاده از فایل readme.html سعی می کنند، نسخه وردپرس را بدست آورند. حال با شخصی سازی این فایل از دسترسی
راحت افراد به  فایل readme.html جلوگیری می کنید. به عبارتی دیگر با disallow کردن این فایل از حملات مخرب در امان هستید!!

• مورد سوم: در فایل وردپرس robot.txt، دایرکتوری افزونه های وبسایت خود را disallow کنید!

این کار امنیت سایت شما را افزایش می دهد و از حملات مخرب جلوگیری می کند. زیرا افرادی به دنبال پلاگین های خاص آسیب پذیر برای سو استفاده
از وبسایت ها هستند.

در این قسمت از آموزش برای شما سه روش کلی برای بهینه سازی فایل وردپرس robot.txt معرفی کردیم. امیدواریم با استفاده از این نکات بتوانید
این فایل را بهینه کنید.

افزودن نقشه XML سایت به فایل وردپرس robot.txt

اگر شما از افزونه وردپرس Yoast SEO یا سایر افزونه ها برای تولید نقشه XML سایتتون استفاده می کنید. این افزونه ها به صورت خودکار نقشه سایت تون را به خطوط مربوط این فایل اضافه می کنند.

اما اگر افزونه نتوانست این کار را انجام دهد!! در این صورت شما باید لینک نقشه XML را به صورت دستی به این فایل اضافه کنید. همانند نمونه زیر:

<pre>Sitemap: http://www.example.com/post-sitemap.xmlSitemap: http://www.example.com/page-sitemap.xml</pre>

در مبحث آخر مقاله امروز هم دو نمونه از این فایل را به صورت ایده آل برای شما معرفی می کنیم.

فایل ایده آل وردپرس robot.txt به چه صورتی است؟

بسیاری از وبسایت های مشهور از این فایل ساده استفاده می کنند. همانند نمونه زیر:

<pre>User-agent: *Disallow:Sitemap: http://www.example.com/post-sitemap.xmlSitemap: http://www.example.com/page-sitemap.xml</pre>

این فایل ساده به همه ربات ها اجازه ایندکس محتوای سایت را می دهد. همچنین لینک هایی را برای نقشه XML سایت ارائه می دهد.

نمونه ی دیگری از فایل بهینه:

<pre>User-Agent: *Allow: /?display=wideAllow: /wp-content/uploads/Disallow: /wp-content/plugins/Disallow: /readme.htmlDisallow: /refer/Sitemap: http://www.example.com/post-sitemap.xmlSitemap: http://www.example.com/page-sitemap.xmlSitemap: http://www.example.com/deals-sitemap.xmlSitemap: http://www.example.com/hosting-sitemap.xml</pre>

دوستان امیدوارم این مقاله مورد استفاده شما قرار گیرد. شما بتوانید با این آموزش فایل وردپرس robot.txt سایتتون را بهینه کنید. تا بتوانید از این طریق گامی برای بهبود سئو کلی سایت بردارید.

موفق باشید.

نوشته بهینه سازی فایل وردپرس robot.txt اولین بار در بیست اسکریپت. پدیدار شد.