Иван Михайлович Чистяков родился 14 (27) сентября 1900 г. в деревне Отрубниво ныне Кашинского района Тверской области. Русский.
В Красной Армии с мая 1918 г. Участвовать в Гражданской войне красноармеец Чистяков начал в составе Тульского рабочего отряда, участвовал в подавлении крестьянского восстания в Тульской губернии в июле 1918 г.
Затем воевал против войск генерала Краснова на Дону, был тяжело ранен.
В 1920 г. окончил пулеметную школу в Ростове-на-Дону, назначен старшим пулеметной команды стрелкового батальона на Северо-Кавказском фронте, воевал против массового политического бандитизма на Кубани, на Тереке и в Дагестане.
В 1925 г. окончил командирское отделение пехотной школы
В 1927 и в 1929 гг. в Москве окончил разные факультеты Стрелково-тактических курсов усовершенствования комсостава РККА «Выстрел» имени Коминтерна.
С августа по ноябрь 1941 г. учился на ускоренных курсах при Академии Генерального штаба.
В 1949 г. окончил Высшие академические курсы при Высшей военной академии имени Ворошилова (Военная академия Генерального штаба).
В 1921 г. служил в 124-м стрелковом полку 14-й стрелковой дивизии (помощник командира взвода, старшина взвода, командир взвода).
С июня 1921 г. — в 1-м стрелковом полку 13-й Дагестанской стрелковой дивизии (командир взвода).
С июля 1922 по 1936 гг. — в 37-м стрелковом полку 1-й стрелковой дивизии Северо-Кавказского военного округа. Командовал стрелковым взводом, пулеметной командой, пулеметной ротой, батальоном.
С 1932 г. — помощник командира 37-го стрелкового полка.
В июле 1936 г. переведен на Дальний Восток и назначен начальником первой (оперативной) части штаба 92-й стрелковой дивизии.
В конце 1936 г. назначен командиром 275-го стрелкового полка.
С ноября 1937 г. — командир 105-й стрелковой дивизии в 1-й Отдельной Краснознаменной армии.
В 1938 г. присвоено звание полковника.
С июля 1939 г. — помощник командира 39-го стрелкового корпуса в той же армии Дальневосточного фронта.
С февраля 1940 г. — начальник Владивостокского пехотного училища.
С марта 1941 г. — командир 39-го стрелкового корпуса в Отдельной Краснознаменной армии Дальневосточного фронта (Приморский край).
С августа по ноябрь 1941 г. — ускоренные курсы при Академии Генерального штаба.
Декабрь 1941 — январь 1942 — командир 64-й отдельной бригады морской пехоты. Контрнаступление под Москвой.
С 17 января 1942 г. — генерал-майор.
Январь — апрель 1942 г. — командир 8-й гвардейской Панфиловской стрелковой дивизии. Западный и Северо-западный фронты.
Апрель — сентябрь 1942 г. — командир 2-го гвардейского стрелкового корпуса. Калининский фронт.
Сентябрь — октябрь 1942 г. — командующий 1-й гвардейской армии. Донской фронт.
Октябрь 1942 — май 1945 гг. — командующий 21-й (с 22 апреля 1943 — 6-й гвардейской) армии. Сталинградская битва, Харьковская оборонительная операция, Курская битва, освобождение Харькова, операция Багратион.
С 18 января 1943 г. — генерал-лейтенант.
С 28 июня 1944 г. — генерал-полковник.
22 июля 1944 г. присвоено звание Героя Советского Союза (медаль № 4159).
С 1945 г. командовал армиями на Дальнем Востоке.
С 1947 г. — в Белорусском военном округе.
С 1949 г. — в Группе советских войск в Германии.
В 1949 г. окончил Высшие академические курсы при Высшей военной академии имени Ворошилова (Военная академия Генерального штаба).
С 1954 г. — 1-й заместитель командующего войсками Закавказского военного округа.
В 1957 г. назначен генералом-инспектором инспекции Сухопутных войск Главной инспекции МО СССР.
С 1968 г. — в отставке.
Депутат Верховного Совета СССР 2-го (1946—1950) и 4-го (1954—1958) созывов.