Na origem da igreja da Memória encontra-se uma lenda referente à imagem de Nossa Senhora esculpida por São José e pintada por São Lucas, na presença da Virgem, que se encontrava no mosteiro de Cauliniana, em Mérida, quando aí chegou D. Rodrigo, chefe dos Godos, depois da derrota cristã de Guadalete.
Mais tarde, este e Frei Romano deslocaram-se para ocidente chegando em 714 ao local onde hoje se ergue a ermida da Memória, local em que a imagem ficou depositada junto a um pequeno altar levantado pelo frade.
A imagem foi encontrada em 1179 numa gruta, sobre a qual foi depois erguida a ermida, a expensas de D. Fuas Roupinho, então alcaide do castelo de Porto de Mós, em ação de graças a Nossa Senhora da Nazaré, que o salvou de cair num penhasco quando perseguia um veado no seio de um intenso nevoeiro.
Esta primeira capela cujos panos murários eram abertos por quatro arcos, para a imagem poder ser vista em terra e no mar, viu os mesmos serem fechados por D. Fernando em 1370 a fim de preservar a imagem que se deteriorava rapidamente.
D. Fernando mandou construir uma nova igreja num local mais acessível, e foi terminada em 1377 correspondendo à igreja de Nossa Senhora da Nazaré.
Em 1600, o monge de Alcobaça, frei Bernardo de Brito mandou desentulhar a gruta primitiva, reconstruindo na mesma época a antiga ermida.
Nos anos seguintes o templo foi sendo objecto de reformas sucessivas que visavam enobrecer o espaço alterando-lhe no entanto a sua ideia original.
No ano de 1628 já os arcos se encontravam entaipados fechando por completo um espaço que frei Bernardo de Brito havia construído como uma planta centralizada, aberta por arcos de volta perfeita, e certamente com o altar ao centro, e a gruta onde a imagem havia sido descoberta era protegida por esta estrutura.
No século XVII vingou o espaço fechado que ganhou uma nova dinâmica visual, com o revestimento azulejar integral no seu interior, a cobertura exterior de quatro águas feita de cerâmica.
Nos alçados da ermida ainda se podem observar os antigos arcos, o registo azulejar que representa o milagre de Nossa Senhora da Nazaré, e a fachada é marcada pela abertura do portal de verga recta encimado por sobreporta em azulejo azul e branco, e sobre a cornija por uma placa de cantaria relevada representando a Virgem da Nazaré com o Menino nos braços, São Brás e São Bartolomeu à direita, e D.Rodrigo e Frei Romano do lado oposto.
A Ermida da Memória é uma pequena capela retangular forrada a azulejo, e composta por dois pisos.
Numa das paredes da fachada encontra-se um pequeno painel de azulejos azuis e brancos que representa o milagre de Nossa Senhora de Nazaré.
Uma escada conduz à cave forrada a azulejo com Painel figurativo com a representação do milagre, na abóbada.
No túnel rasgado por baixo da Capela, está a imagem de Nossa Senhora de Nazaré atrás de gradeamento de ferro, mas também é de realçar o forro interior de azulejos (séculos XVII e XVIII), a Capela é também chamada de “Capela do Local " e está ligada por tradição a D. Fuas Roupinho.
Uma capela muito pequena que é esculpida em uma saliência, mas a história por trás dela é grande e diz-se que a pedra que Madonna encontrou descendo as escadas era proveniente de cerca de 2.000 anos atrás e que a forma como a pedra é trabalhada é originária do Oriente Médio.
No entanto, os católicos acreditam que a Madonna foi esculpida por São José (marido de Maria) e depois trazida para a Europa pelos governantes, e este é um santuário para agradecer a Madonna por salvar uma vida.
No Interior da capela podemos ver azulejos azuis antigos cobrindo toda a igreja (também tecto da igreja), e descendo alguns degraus estreitos chega-se a outra parte do santuário, esta é supostamente a área onde os contos populares dizem que aqui viveu um eremita.
O interior é totalmente revestido por azulejos azuis e brancos de padrão que enquadram outros figurativos onde se representam emblemas marianos.
Na cripta que corresponde à primitiva gruta encontramos um espaço igualmente revestido por azulejos em cuja abóbada se ilustra o milagre, e atrás de um gradeamento aparece a imagem de Nossa Senhora de Nazaré.
Estes azulejos têm vindo a ser atribuídos à oficina de António de Oliveira Bernardes, que foi um dos expoentes máximos da pintura azulejaria barroca e da pintura a óleo entre 1680 e 1732.
