Carecemos de fuentes documentales previas a la llegada de los franciscanos en los albores del siglo XV, pero podemos albergar la hipótesis de que algunos ermitaños se establecieron bajo estos canchos en torno al siglo VII. De hecho, la gran cantidad de eremitas preocupó a los obispos reunidos en los Concilios de Toledo, que coincidían en la necesidad de limitar esa particular vía de santidad, por el peligro que entrañaba de caer en desviaciones heréticas. Las reglas de San Isidoro, San Valerio y San Fructuoso trataron de encauzar ese fenómeno, y bajo sus preceptos aparecieron en todo el territorio hispano pequeños cenobios que constituyen el origen de no pocos monasterios.
En ese contexto, no resulta descabellado imaginar, primero, un oratorio donde los eremitas celebraran la liturgia en común y, luego, una pequeña comunidad monástica. Dicha comunidad pudo mantenerse tras la invasión islámica del siglo VIII, pero su continuidad a lo largo de los más de tres siglos y medio que esta zona estuvo en la esfera andalusí es incierta. Sin embargo, algunos detalles del transepto de la iglesia apuntan a que originalmente pudo ser diseñada de acuerdo a las exigencias de la liturgia hispánica- mozárabe, lo que supondría que se levantó antes de la reconquista de este territorio. En 1080 el Concilio de Burgos había decretado la sustitución de la liturgia hispánica-mozárabe por la romana-gregoriana. Al conquistar Toledo, Alfonso VI promovió el nombramiento del cluniacense Bernardo de Sahagún como arzobispo de esa sede, distinguida como primada y metropolitana.
En estos pilares del transepto pudo haber encajada una barra que, a su vez, sujetara una cortina que ocultaba a los fieles el momento de la transustanciación, de acuerdo con las exigencias del rito mozárabe.
En esemarco encaja perfectamente el establecimiento de una comunidad de benedictinos cluniacenses en La Cabrera, que sustituyeron o absorbieron a la comunidad anterior, adaptaron la iglesia a la nueva liturgia y, seguramente, también la ampliaron. Podemos barajar también las hipótesis de que se establecieran los Canónigos Regulares de San Rufo o los benedictinos del Cister, yéndonos en ambos casos amediados del siglo XII.
Dando por hecho que el establecimiento de una orden monástica y la construcción de la iglesia se produjeron entre los siglos XI y XII, de nuevo nos asaltan las dudas respecto a la continuidad de esa comunidad hasta que llegan los franciscanos. Por una parte, si la falta de referencias escritas sobre la fundación es comprensible, no lo es tanto que persista esa laguna durante más de dos siglos, especialmente si hubiera tenido que ver con alguna de las ramas benedictinas. Por otro lado, hay que tomar en consideración las vicisitudes que atraviesa la zona en esos siglos, pues el interés que tuvo tras la conquista de Toledo se fue desvaneciendo a medida que el reino de Castilla iba incorporando nuevos territorios por el sur.
Hablando un poco de Nuestro convento, está realizado principalemnte en mampostería de granito y su elemento arquitectónico más importante es la iglesia, que destaca por la singularidad de su estructura, diversos elementos de la misma permiten pensar en una construcción prerrománico-visigótica, algo anterior a los siglos XI y XII. A pesar de sus reducidas dimensiones, presenta una estructura de cierta complejidad, con cinco ábsides, tres naves y crucero (de longitud poco inferior a las naves).
La existencia de cinco ábsides y, en consecuencia, de cinco altares hace pensar que en el lugar se celebraban varias misas en el mismo día, ante la prohibición litúrgica de que, en un mismo altar, se oficiasen varias misas en una única jornada. Con respecto a las naves, están integradas por bóvedas de medio cañón y arcos de medio punto, sostenidos por diferentes sistemas de apoyo. Los arcos del crucero y los triunfales se alzan sobre pilares cruciformes; y los restantes sobre columnas cilíndricas, con capiteles.
La desnudez decorativa es otra de las características del templo, que carece casi por completo de motivos escultóricos, tanto en el exterior como
en el interior. Sólo cabe hablar de la presencia de varios escudos en los cerramientos oeste y sur, alusivos a la orden franciscana y al ducado del Infantado, al que estuvo adscrito La Cabrera. Fueron instalados durante las reformas llevadas a cabo en los siglos XV y XVI. A estas reformas también corresponden la arquería conservada del claustro y el cuerpo bajo de la torre. Es probable que laparte superior de ésta sea posterior, posiblemente del siglo XVIII.
Los ábsides son de planta semicircular y tienen diferentes alturas, distribuyéndose simétrica y escalonadamente. Los tres centrales se sitúan, a modo de prolongación, en la cabecera de cada una de las naves, mientras que los dos laterales se corresponden con los extremos de los brazos del crucero. Están formados por bóvedas de cuarto de esfera.
La construcción de la torre de la iglesia fue autorizada por bula del papa Eugenio IV en 1435, y seguramente también estaba levantada para entonces, completando el conjunto conventual. En esa época, tanto en la esfera eclesiástica como en la civil, era ya habitual solicitar permisos sobre hechos consumados, y un ejemplo fehaciente lo tenemos en esta misma bula, que perdonaba a los franciscanos por llevar más de treinta años establecidos en La Cabrera sin autorización.