Петр выехал из Москвы 16 июня. Дворец был оставлен по-прежнему на запустение и разрушение. Жить в нем не было возможности. Двор во время приездов в Москву, как мы сказали, пребывал обыкновенно в Летнем (Головинском) дворце на Яузе, об устройстве которого так заботился и сам Петр – его основатель.
Изредка и весьма на короткое время императрицы останавливались и в Кремлевском дворце, именно в Потешном дворце, здание которого не было еще слишком опущено и представляло некоторые удобства для помещения. Почти при каждой новой коронации возникала мысль основать пребывание в Кремле. Место своею красотою и оригинальными постройками, без всякого сомнения, очень привлекало каждого нового хозяина. Но как скоро оканчивались церемонии и пиры, все уезжало в Петербург – и о Москве, и о Кремле забывали по-прежнему до нового приезда. Впрочем, весьма трудно было что-либо и сделать из этих неуютных, тесных и беспорядочных строений, стоявших в разбросе, где попало, и своим своеобразием приводивших в совершенный тупик петербургские привычки и потребности новой жизни. Вдобавок здания ветшали с каждым годом. Поправка их стоила дорого и с каждым годом становилась еще дороже. Денег жалели, потому что видели мало пользы в возобновлении дворца, в котором жить все-таки было нельзя. Ко времени коронаций возобновляли только некоторые части, наиболее видные и необходимые для совершения церемоний, именно палаты Грановитую, Столовую, Малую Золотую и Терем.
Императрица Анна по приезде в Москву в 1730 г. остановилась сначала в Кремле на Потешном дворце; но, вероятно, по неудобству помещения она вскоре повелела выстроить для себя новый деревянный дворец где-то подле Арсенала, который и назван был Аннингофом. Лето она провела в Измайлове, принадлежавшем ее матери – царице Прасковье Федоровне. Между тем дворец Аннингоф в Кремле был окончен. Выстроенный по проекту известного в то время архитектора графа де Растрелли, он был, по отзыву современников, весьма красив и убран великолепно. Осенью 28 октября императрица переехала в него на житье. Однако ж к лету она выстроила себе другой Аннингоф, на Яузе, подле Головинского дома. Там она прожила до возвращения в Петербург и с тех пор там же основала свое пребывание. В 1736 г. туда перенесен был и кремлевский Аннингоф, названный зимним, в отличие от тамошнего, который был летним. Впрочем, название яузских дворцов Аннингофом употреблялось, кажется, только в официальных бумагах и, может быть, между придворными. Москвичи по-прежнему называли их дворцом Головинским, как нередко называют даже и теперь здание 1-го Кадетского корпуса, выстроенное на месте прежних дворцов уже при Екатерине.
В 1737 г., мая 29-го, Москву опустошил страшный пожар, от которого значительно потерпел и Кремлевский дворец. Кровли на всех церквах и почти на всех зданиях, на палатах: Грановитой, Столовой, Ответной и др. – сгорели; в том числе над Красным крыльцом медная кровля, крытая по железным связям и по дереву, сгорела и обвалилась. В Столовой и Ответной палатах пол и в окнах и в дверях рамы и окончины и каменные столбы, около окон косящатой камень облопался и железные связи порвало. Сгорели Верхний и Нижний Набережные сады. В верхних Теремах в одной палате стекла перелопались и сгорела крыша над всхожим крыльцом, крытая белым железом. В палатах за верхними Теремами, т. е. на внутреннем дворе, также на Кормовом и Хлебенном дворцах, в Сушилах, и на Сытном дворце – все выгорело: полы, потолки, двери, лавки. Сгорел также большой корпус Главной дворцовой канцелярии, прежний Приказ Большого дворца, стоявший между Колымажными воротами и Рождественским собором, причем большею частию погиб и Архив. Во второй палате этого здания сгорело «44 шафа, а в них положены были разобранные описные и не описные дела по годам прошлых лет, также писцовые и переписные, и дозорные, и межевые, и отдельные, и отказные, и приходные, и расходные, и другие всякие книги с 7079 (1571) года по 700 год». Утрата, не вознаградимая для истории царского быта во всех отношениях, и особенно для истории древних художеств и ремесел, деятельность которых в XVI и XVII столетиях с особенною силою приливала ко дворцу. Кроме того, и в других палатах вместе с делами с 1700 г. сгорели, без сомнения, весьма любопытные бумаги, принадлежавшие Меншикову и Долгоруким, а также Походной канцелярии Петра. Сгорело «князей Долгоруких сундуков и ящиков и баулов и коробок с домовыми делами шестнадцать… три ящика с долгоруковскими крепостьми… четыре сундука с домовыми князя Меншикова книгами и делами».
Хотя после пожара некоторые здания были возобновлены и починены и все покрыты кровлями, однако ж многие из них, особенно на заднем дворе, с того времени пришли еще в большее запустение и совсем были оставлены.
К новой коронации при императрице Елисавете точно так же оказалось, что в московских дворцах, по их неустройству, жить было нельзя, и не только в Кремлевском, но даже в Головинском и Лефортовском. В декабре 1741 г. дан был указ привести их «в совершенное состояние, как можно б было в них жить». При осмотре починок и недоделок нашлось премногое число. Тотчас же начались работы, которые продолжались даже по ночам, и через два с половиной месяца, к концу февраля 1742 г., дворцы были готовы. По приезде в Москву императрица остановилась в Потешном дворце, где находилась и аудиенц-камера.
Но Кремлевский дворец все-таки не представлял удобств для постоянного пребывания, и императрица вскоре переселилась на Яузу в Зимний дом, а двор – в Лефортовский дворец. В другой приезд, в 1744 г., она также прожила несколько времени в Потешном дворце.
Желая устроить в Кремле более удобное жилище, Елисавета предполагала было в феврале 1749 г. построить деревянный дом на Набережном саду, т. е. на каменном корпусе Запасного двора, где помещался этот сад. Заготовлены были уже и лесные материалы; но вскоре это намерение было оставлено, и императрица в апреле того же года поручила обер-архитектору Растрелли «для строения того дому усмотреть другое место, и чтоб дому быть каменному, а не деревянному». Растрелли назначил было новое место между Набережным садом и Комиссариатскими покоями, «на магазейном комиссариатском» или Запасном дворе. Передуман был и этот план, и решено наконец выстроить дворец на месте Средней Золотой, Столовой и Набережных палат подле Благовещенского собора. С этою целью упомянутые палаты в 1752–1753 гг. были разобраны со всякою бережью и затем на сводах и стенах древнего подклетного этажа построено в 1753 г. новое здание