A antiga ermida situava-se no adro da Igreja de São Julião e foi fundada no século XIII por um casal oriundo de Guimarães, que lhe deu a invocação de Nossa Senhora da Oliveira. Situada no coração da cidade mercantil, nela teve sede a Irmandade dos Confeiteiros. De fachada discreta e quase imperceptível, enquadra-se no traçado urbano geométrico da Baixa pombalina. O tecto da nave tem uma pintura da Assunção de Nossa Senhora e as paredes são decoradas por painéis de azulejos com episódios da vida da Virgem. Alberga a imagem de Nossa Senhora da Oliveira, bem como uma imagem de Santa Rita de Cássia de grande devoção popular.