Tra il sec. IX ed il sec. XI, in età longobarda, il castello di Candida fu edificato nel punto più elevato dell'abitato, in posizione strategica a controllo della media valle del Sabato. La prima notizia documentata relativa al casale di Candida, è datala al 1045, quando questa è inserita nella contea di Avellino sotto il dominio dei signori longobardi Adelferio e Giovanni. Nel "Catalogus Baronum" si attesta che, nel 1150, il feudatario di Candida è Alduino Filangieri, figlio di Ruggero. In seguito ad uno scontro con il cancelliere, Alduino perderà il feudo che sarà incamerato dal demanio regio. Con l'arrivo di Federico II di Svevia, e la riorganizzazione dei castelli in "Universitas", alla famiglia Filangieri che aveva fornito prova di fedeltà all’imperatore, sarà riconcesso il forte di Candida. Nel 1340 Filippo Filangieri costituisce la Baronia di Candida riunendo alcuni centri limitrofi e incrementando lo sviluppo edilizio e culturale del paese. Nel 1426 un incendio appiccato dalle truppe di Filippo Filangieri, nel tentativo di difendere il forte dall'attacco di un esercito guidato da Sergianni Caracciolo, semidistrugge il castello di Candida, per il quale inizierà, a partire da questa data, un lento e progressivo abbandono. Nel 1440 Alfonso d’Aragona, nella sua avanzata verso Napoli, sosta con l'esercito nelle vicinanze dell'abitato di Candida e, colpito dalla posizione strategica del castello, firma un documento “in nostris felicibus castris contra terram Candide”. In questi anni, la nuova signora di Candida è Caterina Filangieri, la quale si farà promotrice della costruzione del palazzo baronale. Alla sua morte, avvenuta nel 1447, il feudo passerà al figlio Troiano Caracciolo duca di Melfi e, successivamente, al suo discendente Giacomo; a quest'ultimo sarà sottratto dal re Ferdinando I d’Aragona per aver preso parte alla congiura dei baroni. Con l’arrivo a Napoli del re di Francia, Carlo III, nel 1494 il feudo sarà affidato al cavaliere Stefano de Vesch. Nel 1504, a seguito della conquista del Regno da parte degli Spagnoli, la contea di Avellino con il feudo di Candida sono affidati al conte di Palamòs, Galceràn de Requesens. A questi succede la figlia Isabella, la quale porterà in dote i suoi possedimenti a Raimondo de Cardona. Successivamente, il feudo passerà a Maria de Cardona marchesa di Padula, contessa di Avellino e moglie di Francesco d’Este di Ferrara. Dopo la morta senza eredi di quest'ultima, i suoi beni passeranno alla Regia Corte. Nel 1564, il feudo è venduto a Niccolò Grimaldi, e successivamente vedrà l'avvicendarsi di altri numerosi signori, tra i quali si ricordano Diego de Luna e Vittoria de Sangro.