La costruzione venne iniziata in località denominata Paturcium di proprietà di  Landolfo Rumbo dove esisteva, oltre alla chiesetta di Sant'Erasmo del X secolo, una torre di avvistamento normanna del XII secolo.

Primi architetti designati alla costruzione furono Francesco de Vico e Tino Camaino. Nel 1336 morì Tino da Camaino e fu sostituito da  Balducci de Bazca che con il de Vico completò l'opera nel 1342, qualche mese prima della morte di re Roberto.

Il castello, con il nome di Belforte, aveva forma completamente diversa dall'attuale: base rettangolare, a tre piani e due torri quadrate.

Tra il 1538 ed il 1536 il Castello venne completamente ricostruito dall'architetto Pier Luigi Scrivà di Valencia su ordine di don Pietro di Toledo.

Fu solo ora che il Castello assunse il nome di Castel Sant'Elmo.

Il 12 dicembre 1587 un fulmine colpì il deposito delle munizioni distruggendo buona parte della fortezza e causando un enorme numero di vittime.

Il Castello, ha ragion veduta, fu sempre visto con terrore da parte dei napoletani sia per la sua possente mole che per gli eventi che lo hanno contrassegnato: ricordiamo infatti che nel 1547 i cannoni servirono per sedare dei tumulti  popolari, la prigionia di Tommaso Campanella nel 1604, l'impiccagione di Andrea Polito, i bombardamenti durante la rivoluzione di Masaniello.

Successivamente il Castello cambiò " proprietario " con notevole frequenza, al pari delle dinastie che si alternavano nel palazzo Reale.