Nel periodo normanno, alla fine del sec. XI, Guglielmo di Caggiano, esponente della famiglia di Roberto il Guiscardo, avviò l’impianto della fortificazione con la costruzione di una cinta muraria e di un castello (costituito dal mastio centrale, gli ambienti di servizio e residenziali), intorno al quale si sviluppò un piccolo borgo, primo nucleo dell'attuale abitato di Caggiano. Nel 1246 Roberto e Guglielmo signori di Caggiano, figli di Guglielmo il Vecchio, perdono il feudo per aver partecipato alla congiura di Capaccio contro Federico II. Assegnato prima a Giovanni da Procida, nel 1284 è della famiglia Gesualdo. Durante la guerra del Vespro, Mattia Gesualdo, nominato da Carlo I “Giustiziere della Basilicata” (1284), potenziò il castello e l’impianto difensivo. Il discendente della famiglia Gesualdo, Luigi Gesualdo partecipando alla congiura dei baroni (1485-1486) contro Ferdinando I d'Aragona, fu privato del feudo e il castello venne in parte distrutto. Il feudo successivamente apparterrà a Giacomo Caracciolo che avvierà la ricostruzione del forte. Il castello, in questi anni, era costituito da tre alte torri, un torrione (il mastio originario poi incluso nel castello) e due baluardi che gli permisero di resistere alle milizie di Carlo V nella seconda metà del sec. XVI. Nel corso del sec. XVII il castello passerà nella proprietà di Gianbattista Ludovisio, principe di Venosa, il quale venderà il feudo a Prospero Parisani di Tolentino nel 1674. Nel corso dell'Ottocento il castello sarà, infine, adibito in parte ad abitazione civile. Dal 2003 al 2005 il castello è stato oggetto di lavori di recupero, restauro conservativo. Dal 2010 il castello è stato interessato da lavori di restauro e rifunzionalizzazione, al fine di adibire una parte dello stesso a sede espositiva dei dipinti della chiesa di Santa Maria dei Greci. L'intervento, promosso dalla Soprintendenza per i Beni Storici Artistici ed Etnoantropologici per le province di Salerno e Avellino, e dal comune di Caggiano, si è concluso nel 2020.