به دلایل مرتبط با امنیت یا کپی رایت یا هر چیز دیگری ممکنه دسترسی خارج از ایران رو به سایتتون بسته باشید.
در این ویدیو درباره سایت هایی که دسترسی خارج رو بستن توضیح میدم که چرا متادسکریپشن ندارن و چرا بعضی از صفحاتشون ایندکس شده!
در نهایت هم دو راه برای دسترسی بات های گوگل هست که یکی لیست سفید آی پی های گوگل هست که در پایین مستندات و لیستش رو قرار دادم. یکی هم چک کردن از طریق User Agent و سپس Reverse DND Lookup برای هر Request خارج از ایران که یوزر ایجنتی شبیه یوزر ایجنت های بات گوگل دارند. راه دوم راه صحیحی هست چون لیست قطعی آی پی ثابتی وجود نداره. برای جزئیات بیشتر و راه حل، ویدیو رو کامل ببینید. برای یادگیری مفصل تمام بخش های سئو، دوره سئو جامع رو ببینید.
اما درباره لینک هایی که در ویدیو اشاره کردم:
لینک زیر حاوی دو لیست هست که البته اینها لزوما آی پی های گوگل بات نیستند!
https://support.google.com/a/answer/10026322?hl=en
https://www.gstatic.com/ipranges/cloud.json
https://www.gstatic.com/ipranges/goog.json
لینک زیر هم هیچ ربطی به آی پی های خود گوگل نداره! ولی از اونجا که صحبت از آی پی هست لینکش رو میارم که شما هم موقع گشت و گذار برای پیدا کردن لیست آی پی های ثابت بات های گوگل (که در ویدیو گفتم وجود نداره) کمتر گمراه شید:
https://support.google.com/websearch/answer/1696588?hl=en
https://cloud.google.com/vpc/docs/configure-private-google-access#ip-addr-defaults
اینجا هم بحث های ملت درباره لیست لعنتی آی پی های ثابت بات های گوگل هست:
https://webmasters.stackexchange.com/questions/71344/what-does-google-use-173-194-90-xxx-ips-for-why-is-it-not-a-googlebot-com-poin/71359#71359
https://stackoverflow.com/questions/27665531/how-to-find-googles-ip-address
https://webmasters.stackexchange.com/questions/85820/how-to-identify-if-ip-address-is-really-googles-ip
https://developers.google.com/search/docs/advanced/crawling/verifying-googlebot?hl=en
اینجا هم چند تا بنده خدا اومدن لیست آی پی های بات های گوگل رو گذاشتن و دوست دارن اپدیت بمونه لیستشون. در حالی که آی پی ها متغیرن!(تو ویدیو گفتم!)
https://gist.github.com/x011/b93ebc0ab874b002d3bc4889eca83db2