La primitiva struttura militare veniva edificata dagli amalfitani dovendo dotarsi di corpi difensivi, giacché Capri, come le altre isole del Golfo, fu oggetto di costanti attacchi corsari. Inizialmente dunque di proprietà di Adelferio, figlio di Sergio di Amalfi, il quale indicava la zona come Anglum ad Castellum («l'angolo nei pressi del Castello»). Dal Ducato fu ceduto a Giovanni, Comite di Capri, il 15 novembre 988. Il documento fa riferimento infatti a «unam silvam ad angulum ipsum castellum». Protetta dalla rocca, l'area godette di un periodo di stabilità nel X e nell'XI secolo, a presidio dell'intera isola Durante la conquista normanna della Italia meridionale, gli amalfitani si ribellarono più volte al dominio normanno, inducendoli ad ammodernare anche le fortificazioni di Capri. All'interno del fortilizio furono ricavati nuovi ambienti, tra cui una cappella con volta estradossata. Nel 1129, Ruggero II inviò contro la rivoltosa Amalfi una flotta comandata dall'ammiraglio Giorgio d'Antiochia. Per piegare la resistenza della città ducale, i Normanni attaccarono le fortificazioni ad essa circostanti, tra cui Capri Nel corso del XIII secolo la fortezza dovette essere ammodernata con l'introduzione di una torre cilindrica scarpata, due cortine e le mensole per le caditoie Nel corso del XV secolo l'isola di Capri subì numerosi attacchi da parte dei corsari musulmani, durante i quali la popolazione si rifugiò nella fortezza. Nel 1535, tuttavia, i pirati ottomani, guidati da Khayr al-Dīn e Dragut, riuscirono a espugnare la rocca e la popolazione, che vi aveva cercato riparo, fu rapita o derubata. La ricostruzione della fortezza fu avviata, ma l'opera non venne completata. Lasciata quindi alle cure dei soli abitanti di Anacapri, la fortezza non venne mai ricostruita Il fortilizio fu riutilizzato per scopi bellici agli inizi dell'Ottocento, con potenziamenti difensivi operati dagli inglesi nel 1806. L'edificio fu inoltre dotato di un polveriera, nonché nel 1808, dai francesi, fu cinto da mura Nel 1898 il castello, unitamente alla zona circostante, fu acquistato dal medico svedese Axel Munthe. Dalla sua morte, nel 1950, la rocca è gestita dalla fondazione omonima, a sua volta nel patrimonio del Consolato svedese