Morto Erasmo, la grotta fortificata viene venduta, nel XVI secolo, ai Gallemberg. A iniziare da questo periodo, alla primitiva dimora si aggiungono in tempi successivi altre costruzioni che fanno sporgere il castello dalla parete del monte, conferendogli un aspetto pił consueto per quanto ancora fantastico.
Nel 1570 la signoria di Lueg viene assunta da Giovanni Cobenzel che fa proseguire i lavori fino a raggiungere la struttura attuale.
Il castello troneggia tuttora intatto sospeso sulla parete rocciosa del monte, ben visibile da lontano e facilmente accessibile .