Sin embargo, los templarios no estuvieron exactamente en el castillo, sino al parecer en un convento de la Orden del Temple, bajo la advocación de San Benito, que existía en el pueblo, gracias a una bula del papa Alejandro III, hacia el año 1170. El castillo se construyó, por tanto, con posterioridad. Sin embargo, en Torija se acuerdan de ellos y, por eso, dentro de la fortaleza, sentado y vestido con la capa blanca con cruz roja de esta orden de monjes guerreros se encuentra la estatua del último Gran Maestre, Jacques de Molay.