Esta casa conventual teve a sua origem numa pequena ermida pertencente a Diogo da Azambuja. Em 1494, o Papa Alexandre VI passou o breve da fundação do Convento dos frades eremitas de Santo Agostinho, sendo o seu principal impulsionador Diogo da Azambuja. As obras foram lentas, sendo a igreja a primeira a ser construída. No séc. XX foi classificado como Monumento Nacional.