Старый город Ретимно (Παλιά πόλη του Ρεθύμνου [пальа‌ по‌ли ту рэθы‌мну]) расположен на выступающем мысе северной части морского берега. Здесь, в тесноте узких улочек мирно соседствуют друг с другом минареты мечетей и колокольни православных храмов. Яркие краски цветущих вьющихся растений органично сочетаются со старыми деревянными ставнями, которые периодически сменяют сахнисьи — традиционные турецкие эркеры. Очарование Старого города подчеркивает суровая крепость Фортецца, взобравшаяся на холм Палеокастро для охраны его безмятежной жизни. Исторический центр Ретимно в основном сохранил городскую структуру венецианской эпохи — две главные улицы и небольшими переулками, ведущими к общественным и частным зданиям, а также небольшие площади, которые с течением времени совершенно не изменились. Период турецкого владычества оставил свои архитектурные особенности — это и упомянутые выше сахнисьи, минареты мечетей, мусульманские надписи и символы, а также фонтаны и бани. Благодаря такому сочетанию, Старый город был признан в 1967 году историческим памятником. Стена вокруг Ретимно начала возводиться в 1540 году по оригинальным чертежам знаменитого веронского архитектора Санмичели. Однако, поскольку его проекты были сложными и затратными, то было принято решение их упростить. Строительство длилось тридцать лет и было окончено в 1570 году. Стена начиналась у восточного песчаного пляжа города, где находился бастион Святой Варвары с казармами. Этот бастион был единственным, построенным по замыслу Санмичели. Далее стена проходила под прямым углом и продолжалась до до скалистого западного побережья. Посредине, там где сейчас находится Площадь Четырех Мучеников был еще один бастион — Санта Венеранда, а в западном углу был бастион Калерги. Заканчивалась стена еще одним бастионом, возле холма Палеокастро, у крепости Фортецца. Старый город с внешним миром соединяли ворота, которые закрывались на ночь. Всего было три входа. Первый — это Ворота Аммос, которые располагались рядом с бастионом Святой Варвары (сейчас здесь площадь Неизвестного солдата и начало улицы Аркадиу). Вторые ворота находились в западной части стены, на месте нынешнего стадиона. Наконец, главный вход — ворота Гуора, был расположен рядом с бастионом Санта-Венеранда. Ворота крепостной стены имели деревянные двери с металлической облицовкой с внешней стороны, которая защищала их от поджога в случае осады. Двери открывались рано утром и закрывались с заходом солнца. Открыть их могли только для очень важных персон.