Родился 20 августа 1952 года в городе Черемхово Иркутской области.
В 1975 году окончил с отличием Иркутский институт народного хозяйства, позднее — Высшие курсы Военной академии Генштаба. Доктор экономических наук, профессор, действительный член Академии военных наук.
Работал инженером, научным сотрудником, заместителем заведующего лабораторией в Иркутском НИИ редких и цветных металлов. С 1980 года работал в экспериментально-промышленном объединении «Луч», с 1983 по 1988 год возглавлял представительство объединения «Луч» в ГДР (курировал вопросы вывоза добытой урановой руды в СССР), где познакомился с Владимиром Путиным. Сообщалось, что Чемезов и Путин работали в дрезденской резидентуре КГБ, жили в одном доме и сдружились. Судя по телефонной книге Штази того времени, капитан Чемезов делил один кабинет с майором Токаревым, позднее возглавившим «Транснефть».
С 1988 по 1996 год — заместитель генерального директора внешнеторгового объединения «Совинтерспорт». В 1996—1999 годах работал начальником отдела внешних экономических связей Управления делами президента РФ (под руководством В.Путина), позже — начальником Управления внешнеэкономических связей Администрации президента России.
С сентября 1999 по ноябрь 2000 года — генеральный директор ФГУП «Государственная компания Промэкспорт». С августа 2000 года является членом Комиссии при Президенте Российской Федерации по вопросам военно-технического сотрудничества Российской Федерации с иностранными государствами.
С ноября 2000 по апрель 2004 года — первый заместитель генерального директора, в 2004—2007 годах — гендиректор ФГУП «Рособоронэкспорт».
Указом президента Российской Федерации от 26 ноября 2007 года освобождён от занимаемой должности и назначен генеральным директором Государственной корпорации «Ростехнологии», которая в конце 2012 года была переименована в Ростех.
2 декабря 2006 года на VII съезде Всероссийской политической партии «Единая Россия» избран в состав Бюро Высшего совета партии. На VIII съезде, прошедшем 26 мая 2012 года, глава Ростеха был переизбран в Бюро Высшего совета «Единой России». Является координатором проекта «Единой России» «IT-прорыв», реализуемого с декабря 2010 года с целью выявления и поддержки неординарных проектов молодых новаторов в области IT-технологий.