Фортеця була побудована в 3000 до н.е. іонійцями, тоді Мармарис ще звався Фіскос. Якщо вірити історикам, саме з будівництва фортеці в центрі півострова на пагорбі, звідки можливий огляд бухти, почався розвиток стародавнього міста Фіскоса. Фортецю часто відбудовували. Остання реконструкція фортеці проводилася в 1522 під керівництвом султана Сулеймана Чудового після його вдалої окупації Родоса. Основними прикрасами фортеці служили вежа, потужні зубчасті стіни та гармати, які охороняли бухту та місто. Деякі гармати збереглися до наших днів.
Намагаючись максимально відтворити колишню велич фортеці, з 1979 почали проводитися реставраційні роботи. За рішенням Міністерства культури фортецю переобладнали для музею. Внутрішній дворик перетворився на сад, який прикрашають яскраві квіти та стародавні написи зі скульптурами. Біля входу розмістилися фрагменти мармурових барельєфів. Більшість з 7 галерей музею використовують як виставкові зали для художників і скульпторів Туреччини. Крім регулярних виставок, у музеї-фортеці нерідко відбуваються культурні та мистецькі заходи. Тут проводять уроки з історії краю для школярів.