Según una tradición fue sobrino del obispo de Toledo San Eugenio III, quien comenzó su educación.
Por el estilo de sus escritos y por los juicios emitidos en su De viris illustribus se deduce que recibió una brillante formación literaria.
Según su propio testimonio fue ordenado de diácono (ca. 632-633) por Eladio, obispo de Toledo.
Siendo aún muy niño, ingresó en el Monasterio de Agali, en los arrabales de Toledo, contra la voluntad de sus padres.
Se cuenta que la noche del 18 de diciembre de 665 San Ildefonso junto con sus clérigos y algunos otros fueron a la iglesia para cantar himnos en honor a la Virgen María. Encontraron la capilla brillando con una luz tan deslumbrante que sintieron temor. Todos huyeron excepto Ildefonso y sus dos diáconos. Estos entraron y se acercaron al altar. Ante ellos se encontraba la Virgen María sentada en la silla del obispo, rodeada por una compañía de vírgenes que entonaban cantos celestiales. María hizo una seña con la cabeza para que se acercara. Ildefonso obedeció, la Virgen fijó sus ojos sobre él y dijo: "Tú eres mi capellán y fiel notario. Recibe esta casulla la cual mi Hijo te envía de su tesorería." Habiendo dicho esto, la Virgen misma lo invistió, y le dio instrucciones de usarla solamente en los días festivos designados en su honor.
