هر کشوری زبان خاص خودشو داره و اگه بخوایم با افراد کشور خاصی ارتباط برقرار کنیم باید زبان همون کشور رو یاد بگیریم. خزنده های موتورهای جستجو هم زبان خودشون رو دارند و برای اینکه باهاشون صحبت کنیم و به اون ها بگیم کدوم صفحات از وب سایتمون رو بررسی کنند و از کدام صفحات دور بمانند باید از فایل robots.txt استفاده کنیم.
------------------------------------------------------------------------------------------------
برای خواندن ادامه مقاله روی لینک زیر کلیک کنید:
https://parsavesta.com/blog/make-robots-txt-file/
https://parsavesta.com/
https://parsavesta.com/seo-page/
---------------------------------------------------------------------------------
تعریف فایل robots.txt : 00:42
بررسی فایل robots.txt دیجی کالا : 02:19