Sin embargo, los templarios no estuvieron exactamente en el castillo, sino al parecer en un convento de la Orden del Temple, bajo la advocación de San Benito, que existía en el pueblo, gracias a una bula del papa Alejandro III, hacia el año 1170. El castillo se construyó, por tanto, con posterioridad. Sin embargo, en Torija se acuerdan de ellos y, por eso, dentro de la fortaleza, sentado y vestido con la capa blanca con cruz roja de esta orden de monjes guerreros se encuentra la estatua del último Gran Maestre, Jacques de Molay.
Al oeste de Brihuega, en la linde de la N-II, Torija, población típica alcarreña, se dibuja a lo lejos con la silueta de su castillo que corona un pequeño cerro. La llamada Puerta de la Alcarria es más bien una encrucijada de caminos. De portalón Torija pasa a ser ventana, más bien un balcón privilegiado a través de su fortaleza convertida en el Centro de Interpretación Turística de la Provincia de Guadalajara, que fue posesión de los caballeros templarios, según cuentan en el lugar.