Tereny wokół Jeziora Szkoderskiego były zamieszkane już w starożytności. Pierwszymi osadnikami były plemiona ilyryjskie. W III w. p.n.e. wzniosły one na skalistym wzgórzu twierdzę. Okoliczna ludność zajmowała się głównie rzemieślnictwem, nastąpił szybki rozwój gospodarczy, a okolica stała się częścią Królestwa Ilirii.

W 167 r. p.n.e. Twierdza Rozafat została podbita przez Rzymian, a tereny te stały się częścią rzymskiej prowincji. Strategiczne położenie twierdzy pozwalało Imperium Rzymskiemu kontrolować żeglugę na Jeziorze Szkoderskim. Po upadku Rzymu okolice zamieszkali Słowianie.

W XI wieku twierdza weszła w skład serbskiego królestwa Zety (księstwo słowiańskie). XII wiek to z kolei dominacja Cesarstwa Bizantyjskiego. W 1396 roku zamek zdobyli Wenecjanie. To właśnie za panowania Republiki Weneckiej, twierdza Rozafat została przebudowana. Wzmocnione zostały mury, powstał retencyjny zbiornik wody pitnej.

W latach 1461–1474 przy dalszej rozbudowie pracują ówcześni mistrzowie budowlani z samej Dalmacji. W latach 1478–1479 toczy się bitwa o Szkodrę. Republika Wenecka walczy z Imperium Osmańskim o kontrolę wybrzeża adriatyckiego i tamtejszych szlaków handlowych. Głównym ośrodkiem obrony staje się twierdza Rozafat. Załoga zamku liczy niespełna 2000 obrońców, podczas gdy wojsko osmańskie ponad 46 ooo żołnierzy. Budowla obronna ostrzeliwana przez artylerię turecką jest poważnie uszkodzona. Turcy blokują miasto, tym samym odcinając obrońców twierdzy od dostaw żywności i broni. W 1479 roku Imperium Osmańskie zdobywa zamek Rozafat. Albańscy obrońcy uciekają w góry, weneccy natomiast próbują wrócić do ojczyzny. Turcy przejmują pełną kontrolę nad albańskim wybrzeżem Morza Adriatyckiego.

W czasie trwania I wojny bałkańskiej ponownie dochodzi do oblężenia twierdzy. Tym razem obrońcami zamku Rozafat staje się osmańska załoga, która walczy przeciwko czarnogórskim i serbskim oddziałom wojskowym. Bitwa o twierdzę toczy się w latach 1912–1913 i kończy się kapitulacją Turków. Budowlę tymczasowo przejmuje Czarnogóra, ale na skutek międzynarodowej, politycznej demonstracji, twierdza przechodzi w albańskie władanie, Szkodra natomiast staje się stolicą nowo powstałego państwa albańskiego. W 1939 roku podczas włoskiej inwazji na Albanię, w twierdzy ukrywa się dwóch oficerów, którzy ostrzeliwują wojska włoskie.