Durante o Império, o ensino secundário esteve quase sempre nas mãos de particulares. Como não havia grande procura, o número de escolas era suficiente para atender à demanda que havia na época.
Em 1837, o ministro do Império Bernardo Pereira de Vasconcelos apresentou ao regente Pedro de Araújo Lima uma proposta para a organização do primeiro colégio secundário oficial do Brasil. Pereira de Vasconcelos acreditava que a instrução pública seria melhor do que a particular, que se mostrava inadequada por ser oferecida em salas precárias e por professores malpreparados.
O Colégio de Pedro II, cuja primeira sede se situa na atual Avenida Marechal Floriano, no centro do Rio de Janeiro, originou-se do Seminário dos Órfãos de São Pedro, criado em 1739 por Frei de Guadalupe, "para criação de meninos, nas costas da Igreja de São Pedro". Recebeu diversos nomes: Seminário de São Joaquim e Imperial de São Joaquim, até receber a denominação de Colégio de Pedro II. Transformou-se em Instituto de Ensino Secundário pelo decreto de 2 de dezembro de 1837, que dizia:
Art. 1 - O Seminário de São Joaquim é convertido em colégio de instrução secundária.
Art. 2 - Este colégio é denominado Colégio de Pedro II.
Art. 3 - Neste colégio serão ensinadas as línguas latina, grega, francesa, inglesa, retórica e os princípios elementares de Geografia, História, Filosofia, Zoologia, Mineralogia, Álgebra, Geometria e Astronomia.
A inauguração e o começo das aulas ocorreu no dia 25 de março de 1838. Estavam presentes o jovem imperador e suas irmãs, o regente Pedro de Araújo Lima, assim como todos os ministros de Estado. Essas presenças ilustres demonstravam a importância política que o colégio teria, desempenhando outros papéis além da instrução.
O Colégio de Pedro II recebeu atenções especiais na sua organização e orientação. Buscava-se o apoio daqueles que compunham a "boa sociedade", que dependia de bons governantes, de bons administradores e de bons agentes civilizadores, como, por exemplo, o médico, o romancista e o professor de História. Afinal, era uma instituição aristocrática destinada a oferecer "a cultura básica necessária às elites dirigentes", à "boa sociedade" formada por aqueles que eram brancos, livres e proprietários de escravos e terras. Torna-se necessário lembrar que, quando a população brasileira girava em torno de 8,8 milhões habitantes, apenas 1,2% era de alunos matriculados nas escolas do Império.
O Pedro II tornou-se um símbolo de civilidade. Mantido pelo imperador, era o padrão de ensino secundário e a única instituição a realizar os exames que possibilitavam o ingresso nos cursos superiores. O aluno que completasse o curso recebia o título de bacharel em Ciências e Letras e tinha acesso direto às academias. D. Pedro, que costumava referir-se a ele como "seu colégio", escolhia os professores, assistia às provas e conferia as médias.
Em 1874, o prédio do colégio passou por uma grande reforma. Bethencourt da Silva, discípulo do arquiteto Grandjean de Montigny, alterou o antigo seminário. O salão nobre, o famoso Salão D. Pedro, foi inaugurado em 1875. A partir dessa data tornou-se o local onde os bacharéis em Letras, os doutores em Medicina e as turmas de graduados do colégio recebiam seus diplomas.
O último ato público do governo de Pedro II, em 14 de novembro de 1889, ocorreu dentro do colégio, com o imperador presidindo um concurso para professores de Inglês. Nos primeiros tempos republicanos, o colégio passou a se chamar Ginásio Nacional, mas retomou o nome de Pedro II, mantendo-o até os nossos dias.
Foram alunos do colégio grandes nomes da vida política e literária do Brasil, entre os quais Gonçalves Dias, Capistrano de Abreu, Coelho Neto, Euclides da Cunha e os futuros presidentes da República Rodrigues Alves, Hermes da Fonseca e Washington Luís.
