La medioevale Rocca Circea (attuale centro storico), adagiata sul terrazzo del promontorio del Circeo, avamposto strategico e fortificato dello Stato Pontificio, fu potenziato nella prima metà del XIII sec. dall'imponente Torre dei Templari all'interno della Rocca, insieme al Convento (attuale piazza del convento).

Nel 1239, in un periodo di aspre lotte fra il Papa Gregorio IX e Federico II, il Pontefice ordinò ai Cavalieri Templari di impossessarsi della Rocca Circea. L'Imperatore infatti aveva intenzione di attaccare da sud lo Stato Pontificio.
I Templari già erano in possesso della chiesa di S. Maria della Sorresca ma solo nel 1239 il Papa ordinò di riattivare e di fortificare la Rocca Circea. È in questo periodo che la Rocca cambiò nome in Castrum Sancti Felicis. Oggi nel centro storico di S. Felice Circeo è possibile ancora osservare i luoghi costruiti ed abitati dai Templari che eressero un Convento e la Torre che oggi domina la piazza centrale.

Nel 1259 il Castrum Sancti Felicis venne dato a un nuovo signore: Giordano Pironti-Conti. Lui e i suoi discendenti governarono il paese fino alla fine del secolo, quando per occupazione violenta passò sotto la guida della famiglia Annibaldi di Roma.

Il 1301 è una data molto importante nella storia del Circeo: gli Annibaldi infatti cedettero tutto il Castrum Sancti Felicis a Pietro Caetani. Il regno della famiglia Caetani sarà lunghissimo, più di 400 anni.

La presenza dei Templari al Circeo, che si concluse nel 1259, fu sì sporadica, ma incise nel riassetto urbanistico della Rocca, che esiste tuttora nella lineare geometria dell'abitato di S. Felice, con la Torre dei Templari e le imponenti arcate dell'attiguo “Convento”. Spetterà alla famiglia Caetani, cui appartenne Bonifacio VIII, dal sec. XIV in poi, risistemare l'area della Rocca di S. Felice nell'attuale complesso del Palazzo Baronale (ora sede del Comune), che finì per inglobare anche preesistenti fabbricati medioevali.