Le prime notizie relative all'immagine sono affidate alla tradizione popolare, fatto, d'altra parte, comune a molte altre immagini. Essa, più che la storia, si presta a rivestire del meraviglioso gli inizi di un avvenimento che poi ebbe tanta risonanza nella storia di una città. Secondo dunque la tradizione, tardivamente documentata dalla cronaca di Graziolo Accarisi, giureconsulto bolognese del sec. XV, e da un atto notarile, per molto tempo ritenuto dagli storici autentico, oggi non più stimato tale, l'immagine della Madonna, dipinta da San Luca, venne a Bologna da Costantinopoli. Un pellegrino, Teocle Kmnia, la ricevette in consegna dai sacerdoti del tempio di S. Sofia con l'impegno di recarla sul Monte della Guardia. A Roma seppe dal senatore Pascipovero, che tale monte si trovava nei pressi di Bologna e qui la portò consegnandola agli anziani della città. L'8 maggio 1160, il vescovo Gerardo Grassi, che resse la chiesa bolognese dal 1148 al 1165, consegnava la tavola a Azzolina e Beatrice Guezi, pie romite, che facevano vita penitente sul Monte della Guardia. Le due romite collocarono l'effigie in una chiesetta dedicata a San Luca prossima al romitorio. Ad Azzolina e Beatrice successe nella custodia della Immagine Angelica Bonfantini, che si adoperò molto per la costruzione della prima chiesa, essendo ormai l'Immagine entrata nella venerazione popolare. Angelica per dare maggior rilievo all'avvenimento, interessò il pontefice Celestino III, che il 23 settembre 1193 mandò da Roma la prima pietra, da lui benedetta. Essa fu posta nei fondamenti il 15 maggio 1194 dal vescovo Gerardo. A custodire l'immagine, dopo l'avvicendarsi di alcune comunità religiose, nel 1249 furono chiamate alcune monache domenicane provenienti dal monastero di Ronzano.
Esse conservarono l'incarico fino alla soppressione napoleonica del 1799. La loro comunità dipendeva dal monastero di S. Mattia, entro le mura, del quale giuridicamente faceva parte, una sola era la priora, quella di S. Mattia, che reggeva per mezzo di una vicaria la comunità fuori le mura. "Esse per cinque secoli custodirono e vegliarono, con amore e dedizione, l'Immagine, favorendo col loro zelo e l'attività la pietà dei pellegrini verso la Madre di Dio".
La venerazione verso la sacra immagine continuò per due secoli, in mezzo alle vicende burrascose di guerre, discordie e torbidi politici, nei quali si trovarono coinvolte le principali famiglie della città.
Questo stato di cose influì così fortemente sulle condizioni del Santuario che alla fine del 1300 era pressoché abbandonato. Cessato il pellegrinaggio dei devoti, venute meno le offerte, le suore erano ridotte a un esiguo numero, e tutto sembrava destinato alla rovina.