Или к хостеру вопрос, потому что некоторые хостеры на некоторых тарифах своего хоста на уровне сервера ограничивают доступ к сайтам клиентов разных ботов, вот сам с этим сталкивался несколько раз когда регистрировал свои сайты автоматически в массовых каталогах и боты не могли попасть ко мне и увидеть свои обратные ссылки, это специально обращал на это внимание.