Feijó tinha consciência da ameaça que os grupos de oposição ao governo representavam, especialmente os restauradores, que, ao contrário dos exaltados, detinham uma parcela do poder, pois reuniam as forças conservadoras do Senado, além de deter a tutela do príncipe herdeiro e de suas irmãs. Assim, tentou tirá-los do poder.
Procurou, inicialmente, que a Câmara destituísse José Bonifácio do cargo de tutor, mas o Senado colocou-se contra. Tentou, então, converter a Câmara numa Assembleia Geral para que votasse as medidas que pleiteava, mas não obteve o apoio necessário dos deputados. Sentindo-se desprestigiado e sem apoio político, acabou renunciando, em junho de 1832, ao cargo de ministro da Justiça.
A queda de Feijó significou uma vitória dos restauradores, que iniciaram um movimento pelo retorno de D. Pedro I. Por meio de seu jornal, Caramuru, pregavam abertamente tal proposta.
Os moderados, temendo essa possibilidade, resolveram reagir e conseguiram acabar com a Sociedade Militar, desbaratando o Partido Restaurador. José Bonifácio foi destituído do cargo de tutor e preso em dezembro de 1833, sendo substituído pelo Marquês de Itanhaém.
Com a morte de D. Pedro I, em 1834, o Partido Restaurador perdeu sua razão de existir. Nesse momento, também, tornam-se mais explícitas as divergências dentro do Partido Moderado.
