ویدیو ایندکس کردن سایت در گوگل بدون دسترسی خارج

به دلایل مرتبط با امنیت یا کپی رایت یا هر چیز دیگری ممکنه دسترسی خارج از ایران رو به سایتتون بسته باشید.

در این ویدیو درباره سایت هایی که دسترسی خارج رو بستن توضیح میدم که چرا متادسکریپشن ندارن و چرا بعضی از صفحاتشون ایندکس شده!

در نهایت هم دو راه برای دسترسی بات های گوگل هست که یکی لیست سفید آی پی های گوگل هست که در پایین مستندات و لیستش رو قرار دادم. یکی هم چک کردن از طریق User Agent و سپس Reverse DND Lookup برای هر Request خارج از ایران که یوزر ایجنتی شبیه یوزر ایجنت های بات گوگل دارند. راه دوم راه صحیحی هست چون لیست قطعی آی پی ثابتی وجود نداره. برای جزئیات بیشتر و راه حل، ویدیو رو کامل ببینید. برای یادگیری مفصل تمام بخش های سئو، دوره سئو جامع رو ببینید.

اما درباره لینک هایی که در ویدیو اشاره کردم:

لینک زیر حاوی دو لیست هست که البته اینها لزوما آی پی های گوگل بات نیستند!

https://support.google.com/a/answer/10026322?hl=en

https://www.gstatic.com/ipranges/cloud.json

https://www.gstatic.com/ipranges/goog.json

لینک زیر هم هیچ ربطی به آی پی های خود گوگل نداره! ولی از اونجا که صحبت از آی پی هست لینکش رو میارم که شما هم موقع گشت و گذار برای پیدا کردن لیست آی پی های ثابت بات های گوگل (که در ویدیو گفتم وجود نداره) کمتر گمراه شید:

https://support.google.com/websearch/answer/1696588?hl=en

https://cloud.google.com/vpc/docs/configure-private-google-access#ip-addr-defaults

اینجا هم بحث های ملت درباره لیست لعنتی آی پی های ثابت بات های گوگل هست:

https://webmasters.stackexchange.com/questions/71344/what-does-google-use-173-194-90-xxx-ips-for-why-is-it-not-a-googlebot-com-poin/71359#71359

https://stackoverflow.com/questions/27665531/how-to-find-googles-ip-address

https://webmasters.stackexchange.com/questions/85820/how-to-identify-if-ip-address-is-really-googles-ip

اینجا هم گوگل گفته که چجوری بفهمید این بات نگون بخت که اومده به شما ریکوئست داده، واقعا بات گوگل هست یا User Agent ساختگی بات هست:

https://developers.google.com/search/docs/advanced/crawling/verifying-googlebot?hl=en

اینجا هم چند تا بنده خدا اومدن لیست آی پی های بات های گوگل رو گذاشتن و دوست دارن اپدیت بمونه لیستشون. در حالی که آی پی ها متغیرن!(تو ویدیو گفتم!)

https://gist.github.com/x011/b93ebc0ab874b002d3bc4889eca83db2

evert.meulie.net/faqwd/googlebot-ip-ranges/