Замъкът Пафос е византийска крепост, построена за защита на пристанището. През 1222 г. той е разрушен от земетресение и е възстановен от лузиняните. В средата на XVI в. той отново е разрушен от венецианците и възстановен през 1592 г. от османците, когато те завладяват острова. По време на британския период замъкът служи като склад за сол. Отново е повреден от земетресение и е засегнат по време на бомбардировката на пристанището на Пафос от турските сили през юли 1974 г. За щастие замъкът не е напълно повреден по време на бомбардировките. През 1935 г. замъкът е обявен за античен паметник по силата на Закона за антиките и днес в него се провеждат различни културни събития.