Alcuni anziani raccontano che questo castello fosse più grande dell’attuale, che ad esso si univa una cinta muraria che racchiudeva il paese e che riusciva a difenderlo; non è inusuale che si sia conservato solo la dimora principale, mentre le altre superfici furono adibite ad abitazioni private. Si racconta che quando fu costruito il castello, l’architetto, ignoto, volle costruire ben 365 stanze, tante quanti i giorni dell’anno; forse perché così il barone poteva goderne la luce da ogni angolo. A proposito della luce vi è un aneddoto molto interessante; pare che ancora oggi, qualcuno conosce una stanza del castello dove non compare per niente la luce. Molti hanno tentato di illuminarla senza riuscirci. Altra leggenda è quella della stanza del tesoro: pare che ci fosse una stanza contenente un tesoro il cui pezzo pregiato fosse una chioccia d’ oro con i pulcini anch’ essi dorati. Come ogni castello anche quello di Cancellara pare avesse un passaggio segreto che sbucasse fuori dal centro abitato, si presuppone vicino la fiumara.
