Твой сервер отдает запрос с параметром: If-Modified-Since, корректно?
If-Modified-Since - выжный параметр, который дает поисковому боту понимание о состоянии контента. Однако, здесь таится и опасность в неправильной настройке.
Поисковый бот обращается к сайту с дополнительным параметром - If-Modified-Since и ответ должен приходить от сервера правильный. Если данные приходят не верные, то алгоритм поисковика будет интерпритировать их не корректно.
С другой стороны, правильно настроенный параметр, позволит ускорить поподание статей в базу данных поисковых систем.