Nasceu no dia 2 de abril de 742, na localidade de Liége, Bélgica. Morreu no dia 28 de janeiro de 814, na localidade de Aachen, Alemanha.
Seu pai — Pepino, o Breve — foi coroado rei dos francos em 751, ao destronar o último monarca da Dinastia Merovíngia, Childerico III. Sua ascensão se deu com a aprovação da Igreja Católica, que necessitava do poder militar dos francos para reconquistar suas terras na Itália, tomadas pelos lombardos. Foi o início da Dinastia Carolíngia, com o novo rei sendo coroado por “direito divino”. Pepino tinha dois filhos: Carlos e Carlomano, o caçula. Com sua morte, o reino foi dividido em dois, segundo disposição testamentária. Nessa época, Carlos já tinha 26 anos e era um gigante loiro, de quase dois metros de altura, exímio nadador, caçador e cavaleiro.
A divisão do reino causou rivalidades entre os dois irmãos. Quando Carlomano morreu, em 771, Carlos se apoderou de seus domínios, reunificando os francos. Sua primeira campanha importante foi contra os lombardos. A Itália foi invadida em 773 e a “coroa de ferro”, símbolo da realeza lombarda, passou para o monarca franco. Foi o início de uma longa série de conquistas militares, que marcariam todo o período de seu governo. Seu poderio se expandiu a tal ponto que, no Natal de 800, o papa Leão III o corou imperador dos romanos, na Igreja de São Pedro, em Roma. Passo a passo, construiu um grande império. Em 812, foi reconhecido por Bizâncio.
Passou a ter uma autoridade tão grande quanto a do papa. Nomeava pessoalmente os bispos, fornecia os temas de seus sermões, estabelecia os requisitos necessários para o acesso ao sacerdócio, impunha aos mosteiros as regras beneditinas e até convocava concílios. Cercou-se de uma aristocracia ligada a ele por benefícios territoriais e pela prestação de serviços militares, o que consolidou as bases político-sociais do feudalismo. Foi descrito por seus contemporâneos como uma personalidade otimista e loquaz, com gosto pela dominação. Era de talhe imponente, olhos vivos, voz profunda e não possuía a barba com que comumente é retratado.
Desposou sucessivamente cinco mulheres e, apesar de sua decantada devoção religiosa, possuía inúmeras amantes. Teve pelo menos vinte filhos, entre legítimos e ilegítimos, conferindo a todos os mesmos direitos. Grande incentivador das artes e das ciências que floresceram sobre o seu governo, era, contudo, por formação, um guerreiro. Participou pessoalmente de quase todas as expedições militares. Vitorioso, era duro com os vencidos. Na campanha contra os saxões, por exemplo, revelou crueldade sanguinária com os reféns, decapitando milhares deles. Seu talento militar manifestava-se na escolha dos comandantes, na preparação dos detalhes de cada batalha, na hábil combinação das ameaças bélicas com as iniciativas diplomáticas.
Pouco depois do Natal de 813, foi atacado por uma violenta febre que o obrigou a ficar de cama: era a pleurisia (inflamação das pleuras pulmonares) que o sufocava, minando sua saúde. Em janeiro de 814, seu físico, esgotado, não resistiu mais. O corpo foi enterrado na Catedral de Aix-la-Chapelle, que ele mesmo ajudara a construir. Restou o problema da sucessão: dos três filhos que, oito anos, indicara como herdeiros do trono, só restava vivo Luís, o Piedoso, rei da Aquitânia. Ele assumiu e se mostrou um péssimo governante. Com sua morte, o império passou por dois anos de instabilidade, sobretudo pela luta entre os herdeiros. Terminavam assim os últimos vestígios do poderio carolíngio. O grande império franco não sobreviveu à morte do seu criador.