La prima notizia di "Oleastrum" è in un documento del 1059 con il quale l'ultimo principe longobardo di Salerno, offrì al vescovo pestano Amato le terre «in finibus lucanie» ossia le terre che si estendevano fino alla Lucania, incluso un «locum ubi oleastrum dicitur». Appartenne al feudo ecclesiastico di Agropoli, territorio infeudato al vescovo di Capaccio, di cui seguì le vicende fino al 1507, quando fu venduto a Galeazzo Spigadore, cui rimase fino al 1580. Si deve a quest'ultimo, suffeudatario di Ogliastro durante la baronia dei Sanseverino, l'edificazione del palazzo fortificato, completato nel 1525. Nei secoli successivi varie famiglie si succedettero alla sua guida come i Bonito, i de Clario, gli Altomare, e ide Conciliis, finché nel 1741 il feudo ed il palazzo giunsero alla famiglia de Stefano, con il titolo di Marchesato (1895).