Рыцари ордена Святого Иоанна, чтобы отбиваться от турецких набегов, начали сооружать мощный замок около гавани Коса в XIV веке. Камни и мрамор для этих целей непросвещенные рыцари брали на руинах Асклепиона. Замок получился внушительным и неприступным, а вот древним памятникам был нанесен непоправимый вред. До сих пор в замке сохранились мраморные колонны и фрагменты античных сооружений. Строили замок несколько десятилетий, и каждый правитель украшал его собственным фамильным гербом, которые и сейчас видны на стенах.