Nascido em 17 de outubro de 1931, José Alencar foi o 11º filho de um total de 15 do casal Antônio Gomes da Silva e Dolores Peres Gomes da Silva. O ex-vice-presidente nasceu em um povoado às margens de Muriaé, cidade de 100.063 mil habitantes no interior de Minas Gerais. José Alencar era casado com Mariza Campos Gomes da Silva e deixou três filhos reconhecidos: Josué Christiano, Maria da Graça e Patrícia.
Ele começou a trabalhar aos 7 anos, no balcão da loja do pai. Em 1946, aos 15, deixou a casa da família, na zona rural, para trabalhar como balconista em uma loja de tecidos da cidade. Dois anos depois, em maio de 1948, José Alencar mudou-se para Caratinga, onde conseguiu emprego como vendedor. Ao completar 18, em 1950, Alencar abriu seu próprio negócio, com a ajuda de um dos irmãos. Em 1967, em parceria com o empresário e deputado Luiz de Paula Ferreira, fundou, em Montes Claros (MG), a Companhia de Tecidos Norte de Minas (Coteminas), hoje um dos maiores grupos industriais têxteis do País.
Nos anos seguintes, José Alencar foi presidente da Associação Comercial de Ubá, diretor da Associação Comercial de Minas, presidente do Sistema Federação das Indústrias do Estado de Minas Gerais e vice-presidente da Confederação Nacional da Indústria.
Estabelecido no setor empresarial, candidatou-se para o governo de Minas em 1994 e, em 1998, disputou uma vaga no Senado Federal, elegendo-se por Minas Gerais com quase 3 milhões de votos. No Senado, foi presidente da Comissão Permanente de Serviço de Infra-instrutora, membro da Comissão Permanente de Assuntos Econômico e membro da Comissão Permanente de Assuntos Sociais.
Embora tenha se caracterizado como a principal voz dissonante do governo Lula em relação à política de juros ao longo dos oito anos de mandato, sua inclusão na chapa de Luiz Inácio Lula da Silva em 2002 foi decisiva para que o petista conquistasse o apoio do empresariado e, pela primeira vez, a Presidência do País.
A presença de Alencar foi decisiva na vitória de Lula ao angariar o apoio do empresariado, desconfiado com a possibilidade de um presidente da República sindicalista. Em 2004, Alencar passou a acumular a vice-presidência com o cargo de ministro da Defesa, função que exerceu até março de 2006. Em 2007, assumiu o segundo mandato como vice-presidente após ser reeleito, novamente, ao lado de Lula.
Alencar se desligou do Partido Liberal (PL) em 29 de setembro de 2005, após a crise envolvendo o nome de seu sobrinho Daniel Freitas, um dos fundadores da DNA Publicidade e falecido em 2002. A DNA, que tem como sócio o empresário Marcos Valério Fernandes de Souza, foi investigada por suposto envolvimento no escândalo do mensalão. Ainda em 2005, juntamente com outros ex-membros do PL, Alencar participou da fundação de um novo partido: o Partido Republicano Brasileiro (PRB).
No tempo em que ocupou o cargo de vice-presidente, José Alencar ganhou os títulos de cidadão honorário dos Estados do Rio Grande do Norte, Paraíba, Sergipe, do Distrito Federal e de 53 municípios brasileiros, sendo 51 deles em Minas Gerais.