Nasceu no dia 30 de junho de 1893, na cidade de Leipzig, Saxônia, Alemanha. Morreu no dia 1.º de agosto de 1973, na cidade de Berlim.
Filho de um alfaiate empobrecido, exerceu a profissão de marceneiro. Em 1912, ingressou no Partido Social Democrata Alemão (SPD). Após a Primeira Guerra Mundial, foi um dos fundadores do Partido Comunista Alemão (DKP) na Saxônia. Foi eleito para o Reichstag (Assembleia Federal Alemã) em 1928, 1930 e 1932. Com a ascensão do nazismo em 1933, foi obrigado a se exilar na França, de onde partiu para a Rússia. Durante a Guerra Civil Espanhola, (1936-1938), foi comissário político nas Brigadas Internacionais.
Em 1945, retornou ao seu país, onde foi eleito para o comitê central do Partido Comunista. No ano seguinte, conseguiu a unificação do partido com o Partido Social Democrata, fundando, assim, o Partido Socialista Unificado (SED). Com a reforma da República Democrática Alemã em 1949, tornou-se primeiro ministro. Em 1950, no terceiro congresso partidário, foi eleito para o posto de secretário geral. Seu principal desafio foi a revolta que, em junho de 1953, eclodiu em Berlim Oriental. Após a morte de Wilhelm Piek em 1960, a presidência da República foi abolida e formado um Conselho de Estado, do qual foi presidente. Após uma reunião dos países do Pacto de Varsóvia em Moscou (agosto de 1961), mandou erigir a cerca de arame farpado, que depois substituída por um muro de concreto: o Muro de Berlim. Em maio de 1971 renunciou ao cargo de secretário geral do Partido Socialista Unificado.
O Muro de Berlim (em alemão Berliner Mauer) foi uma barreira física, construída pela República Democrática Alemã (Alemanha Oriental) durante a Guerra Fria, a qual circundava toda a Berlim Ocidental, separando-a da Alemanha Oriental. Este muro, além de dividir a cidade de Berlim ao meio, simbolizava a divisão do mundo em dois blocos ou partes: a República Federal da Alemanha (RFA), apoiada pelos países capitalistas encabeçados pelos Estados Unidos, e a República Democrática Alemã (RDA), apoiada pelos países socialistas simpatizantes do regime totalitário soviético.
Construído na madrugada de 13 de agosto de 1961, dele faziam parte 66,5 km de gradeamento metálico, 302 torres de observação, 127 redes metálicas eletrificadas com alarme e 255 pistas de corrida para ferozes cães de guarda. Este muro era patrulhado por militares da Alemanha Oriental com ordens de atirar para matar (a célebre Schießbefehl ou “Ordem 101”) os que tentassem escapar, o que provocou a morte a 80 pessoas identificadas, 112 ficaram feridas e milhares aprisionadas nas diversas tentativas de fuga. O muro caiu em 1989 e significou o início das tratativas políticas para a reunificação da nação alemã.