В 1372-1374 годах, в период недолгого существования самостоятельного нижегородского княжества, построена в Нижнем первая каменная цитадель - Дмитровская башня, не дошедшая до нас (современная башня сооружена позднее). Началом строительства каменного Нижегородского кремля стала постройка в 1500 году в прибрежной части города Ивановской башни, но основные работы развернулись с 1508 года и в короткие сроки - к 1515 году - грандиозное строительство было завершено.
Основные работы по сооружению кремля осуществлялись под руководством присланного из Москвы архитектора Пьера Франческо (Петр Фрязин).
В систему кремля входит тринадцать башен - пять квадратных, имевших ворота, и восемь круглых. Башни носят названия: Дмитровская (она центральная), и от нее, следуя в западном направлении, - Кладовая, Никольская, Коромыслова, Тайницкая, Северная, Часовая, (сторожевая башня с часами), Ивановская, Белая, Боросоглебская, Зачатская, Георгиевская и Пороховая. Башни высотою от 18 до 30 метров связаны мощными (до пяти метров шириной) стенами с зубцами от 12 до 22 метров высотою.