Prima rezidenţă cunoscută a familiei Károlyi la Carei datează de la sfârşitul secolului al XV-lea. La mijlocul veacului următor, din pricina accentuării pericolului turcesc, rezidenţa din piatră a fost transformată într-o cetate dotată cu şant şi zid de fortificare patrulater şi patru bastioane de colţ, prevăzute cu nişe de tragere pentru tunuri. Pentru a face faţă cu succes unui eventual atac, fortificaţiile cetăţii sunt lărgite între 1661 şi 1666, iar după refacere aici este repartizată o garnizoană germană, beneficiind de artilerie proprie. Ulterioarele atacuri turceşti nu au reuşit să distrugă cetatea, dar i-au provocat avarii grave, reparate prin lucrările din anul 1678. Noi lucrări de refacere au loc în anul 1708, în urma atacului trupelor germane. În 1792, elementele principale de fortificaţie, bastioanele, sunt demolate, iar cetatea este transformată într-un castel în stil baroc. O nouă transformare a castelului, cea care conferă clădirii aspectul actual, are loc între anii 1894-1896. Structura de zid a castelului baroc este păstrată aproape în totalitate, fiind însă adăugate mai multe turnuri de diferite forme şi dimensiuni, care conferă clădirii un aspect asimetric. Accentuarea impresiei de medieval este realizată cu ajutorul şanţului cu apă construit de jur-împrejurul castelului. Intrarea principală a fost transferată pe latura de vest a castelului, spre oraş.