Il Castello, che sorge ad un'altezza di circa 340 metri, sulla collina di San Nicola del Vaglia, fu costruito probabilmente sotto Mansone I di Amalfi dopo la conquista del borgo di Castrum Licterensis da parte degli Amalfitani: la principale funzione della struttura era quella di confine e prevenire eventuali attacchi dal golfo di Napoli al ducato di Amalfi; il castello inoltre proteggeva entro le
sue mura una chiesa, alcune abitazioni e diverse botteghe. Con l'arrivo dei Normanni la fortezza fu ampliata: furono costruite infatti nuove mura, una nuova porta, dotata di ponte levatoio e protetta da un camminamento con arcieri e a poca distanza dal castello fu costruita una cattedrale, in stile romanico, con decorazioni in tufo giallo e verde. Durante la fase Sveva, il feudo di Lettere, passò nel 1263 a Riccardo Filangieri: a lui si devono la costruzione del mastio e di una torre. Con l'arrivo degli Angioini, il Castello fu protagonista nella guerra del vespro e venne notevolmente ampliato e strutturato in modo da poter ospitare i nuovi sistemi difensivi: fu ampliata la cinta muraria, costruita una nuova torre nel lato sud, affiancata da due piccole torrette, armate con armi da fuoco e furono costruiti dei corridoi pensili in modo tale da mettere in comunicazione i vari camminamenti. Durante la dominazione Aragonese, persa la sua funzione difensiva, fu trasformato in residenza privata e nelle possenti mura furono aperte numerose finestre. Persa in seguito qualsiasi funzione sia militare che abitativa, il conseguente stato di abbandono lo ridusse a un rudere: soltanto tra la fine del XX e l'inizio del XXI secolo sono stati effettuati importanti lavori di ristrutturazione, grazie ai quali è stato possibile recuperare le mura perimetrali e le torri, riportandolo almeno in parte all'antico splendore.
