Una leggenda avvolge ancora il castel di Lagopesole.Questa leggenda, forse, legata ai fatti storici che avvennero dopo la sconfitta e la morte di Manfredi che è stato l'ultimo re svevo di Sicilia. Figlio dell'imperatore svevo Federico II di Svevia e di Bianca Lancia, nipote di Enrico VI e pronipote di Federico I di Svevia detto Barbarossa fu reggente dal 1250 e quindi re di Sicilia dal 1258.
Morì durante la battaglia di Benevento, sconfitto dalle truppe di Carlo I d'Angiò.
Questa leggenda racconta che in alcune particolari notti, quando la luna è alta nel cielo e tutta la campagna tace, dal Castello si vede apparire e scomparire una luce portata da una fanciulla vestita di bianco e si sentono lamenti, invocazioni ed urla di disperazione. La bella Elena degli Angeli, moglie disperata di Manfredi, torna al Castello dove visse felice a cercare il caro marito e gli amati figli perduti per sempre. Ed il biondo Manfredi, cavalcando il suo magnifico stallone bianco, con un bellissimo vestito dal lungo manto verde nella profondità della notte può essere incontrato nelle campagne attorno al castello, che vaga all'eterna ricerca della sua famiglia distrutta dall'Angioino.