Intorno al 1045 la famiglia Filangieri ("filii Angerii"), proveniente dalla Normandia, conquista la terra di Lapio al seguito di Roberto il Guiscardo. Il feudo fu poi posseduto da Alduino Filangieri e dai suoi discendenti, fino all’eversione della feudalità. Il Palazzo Filangieri nasce difatti, probabilmente, con una prima torre difensiva a pianta quadrata di età normanna. In una “Cartula offertionis”, datata al 1130, si cita per la rima volta il castello di Lapio in riferimento a un tale Ruggiero “dominus de castello Lapio”. Nel sec. XIII (1255) Guido Filangieri è signore del luogo; a questi seguiranno il signore di Candida Riccardo Filangieri e il fratello Ruggiero, e nel sec. XV Nicola Filangieri (1456). Nel corso del sec. XVI il Castello di Lapio perderà il proprio carattere difensivo per divenire residenza signorile ad opera della stessa famiglia, alla quale il castello apparterrà fino all'avversione dei diritti feudali (1806).