O Forte complementa o conjunto de fortificações setecentistas que erguidos no contexto da guerra de Restauração da independência de Portugal, se estendiam pelo litoral desde Setúbal até ao Forte de São Domingos da Baralha perto do cabo Espichel.
O local assumiu dimensões religiosas a partir de 1250, quando de acordo com a tradição, Hildebrando um mercador das ilhas britânicas ergueu uma pequena ermida devotada a Nossa Senhora em ação de graças pelo milagre que ali o salvou de um naufrágio.
Na primeira metade do século XVI, entre 1539 e 1542, D. João de Lencastre (1501-1571), 1.º Duque de Aveiro, fez erguer o primitivo convento, doado ao franciscano espanhol Frei Martinho de Santa Maria, que ali desejava viver como eremita.
Os trabalhos de edificação prosseguiram entre a segunda metade do século XVI e a primeira metade do século XVII, pela devoção do 2º e do 3º duques de Aveiro, aos quais se devem a hospedaria e as estações dos Passos da Paixão, e da da nora do 3º Duque.
Nos meados do século XVII, o 4º Duque de Aveiro promoveu a construção da capela do Bom Jesus.
No século XIX, com a extinção das ordens religiosas em Portugal, as instalações do Convento foram abandonadas pelos frades franciscanos (1834), sendo adquiridas pelos duques de Palmela (1863).
Ao final do século XX foram adquiridas pela Fundação Oriente (1990) que as requalificou como espaço cultural.
A fortificação encerrando a completa remodelação da estratégia defensiva do reino implementada a partir do reinado de D. João IV (1640-1656), compreendida na defesa da barra de Setúbal, esta fortificação marítima foi iniciada somente entre 1670 e 1676, sob o reinado de D. Pedro II (1667-1706), com a função de defesa do chamado portinho e o Convento da Arrábida, destino de peregrinação.
As suas obras foram inteiramente refeitas sob o de D. João V (1706-1750), para serem dadas como concluídas em 1749, conforme inscrição epigráfica em lápide sobre o Portão de Armas: “Governando estes reinos e senhorios de Portugal o muito alto e poderoso príncipe D. Pedro, Nosso Senhor, pelo Marquês de Fronteira, do Conselho de Guerra, seu Gentil-Homem da Câmara, vedor da sua Fazenda, Mestre de Campo General da Corte, Estremadura, Cascaes e Setúbal, [mandou] fazer esta fortaleza para defender este porto e [barra] da Arrábida e seus mares no ano de 1676. Por ordem de S. M. foi tudo reedificado desde os alicerces, feitas as estradas de novo e se acabou em MDCCXLIX".
No final do século XVIII (1798) esteve em operação até ao reinado de D. Luís (1861-1889), quando, diante da perda da sua função defensiva em virtude da evolução dos meios bélicos e do abandono das instalações do Convento, foi desativado.
No início do século XX foi arrendado a um particular, a partir de 1932 foi adaptado às funções de pousada pelos pais de Sebastião da Gama, as quais exerceu até 1976.
A partir de 1978, o imóvel passou a integrar o Parque Natural da Arrábida, passando a ser considerado Imóvel de Interesse Público.
A partir de então foram efectuadas obras de consolidação e restauro adaptando-se o monumento à função de Museu Oceanográfico (1991), que mantém no local um centro de biologia marinha, uma pequena loja comercializa itens relacionados à área protegida do parque e oferece café aos visitantes.
Um pequeno forte marítimo, apresenta planta poligonal orgânica com bateria terraplenada hexagonal, quatro parapeitos pelo lado do mar, as dependências de serviço encontram-se atualmente requalificadas como salas de exposição de aquários e de vídeo.
Na capela pode-se observar uma expressiva imagem de Nossa Senhora em pedra de lioz de feição seiscentista.
