سلام اقای هاشمی

  1. اگر بخوام یکسری صفحات رو مسدود کنم که گوگل الکی کراول نکنه چطور باید بنویسم ساختار ادرس در فایل روبات به طور مثال https://robord.ir/alireza_alikhah260009/likes الان  در این ادرس اسم من اسم اکانت من هست که خب متغیره برای هر کاربر اما likes ثابت هستش این مدل ادرس ها و صفحات رو میخوام گوگل نبینه وکراول نکنه چطور تو روبات بنویسم ؟؟ که این ساختار ادرس باز هم هست مثلا به جای likes  ادرس دارم که followers هست که ثابته 
  2. تو اسکریمین فراگ این قسمت کنونیکالش چی میگه دقیقا یعنی این صفحات توشون کد کنونیکال هست ؟؟ شامل کنونیکال میشه من نفهمم دقیقا چی میگه ؟؟
1 پاسخ
آکادمی فرین عضو سایت 3 ماه قبل

سلام خدمت شما
1- بهتره از ربات استفاده نکنید
بهترین راه نوایندکس کردن قرار دادن تگ نوایندکس داخل head هست
 به هر حال اگر منظورتون رو درست متوجه شده باشم، کد رباتش هم اینطوری میشه:
User-Agent: *
Allow: /https://robord.ir/
Disallow: /https://robord.ir/alireza_alikhah260009/likes
 
2- من با website auditor کار میکنم نه اسکریمنگ فراگ برای همین خیلی اطلاع ندارم