Пафаскі замак быў візантыйскай крэпасцю, пабудаванай для абароны гавані. У 1222 годзе ён быў разбураны землятрусам і адноўлены Лузіньянамі. У сярэдзіне 16 стагоддзя ён быў зноў разбураны венецыянцамі і адноўлены ў 1592 годзе асманамі, калі яны захапілі востраў. У брытанскі перыяд замак служыў складам солі. Ён зноў быў пашкоджаны землятрусам і пацярпеў падчас бамбардзіроўкі гавані Пафаса турэцкімі войскамі ў ліпені 1974 г. На шчасце, замак не быў цалкам пашкоджаны падчас бамбардзіроўкі. У 1935 годзе замак быў абвешчаны помнікам даўніны ў адпаведнасці з Законам аб старажытнасцях, і сёння тут праводзяцца розныя культурныя мерапрыемствы.