Матвей Фёдорович Казаков родился 9 (20) октября 1738 г. в Москве в семье чиновника. Русский
Отец - Фёдора Казаков, подканцеляриста Главного комиссариата, выходец из крепостных, который заслужил свою свободу служением во флоте
Мать- Федосья Семёновна Казакова
Семья Казаковых жила около Кремля, в районе Боровицкого моста. В 1749-м или начале 1750-го года умер отец Казакова.
Мать решила отдать сына в архитектурную школу известного зодчего Д. В. Ухтомского; в марте 1751 года Казаков стал учеником в школе Ухтомского и пробыл в ней до 1760 года.
После разрушительного пожара в Твери в 1763 году Казакову было поручено восстановить Тверь в качестве младшего архитектора при П. Р. Никитине.
Казаков проработал в Твери пять лет.
С 1768 г. работал под руководством В. И. Баженова в Экспедиции кремлёвского строения; в частности, в 1768—1773 гг. он участвовал в создании Большого Кремлёвского дворца, а в 1775 г. — в оформлении праздничных увеселительных павильонов на Ходынском поле.
В 1775 году Казаков был утверждён в звании архитектора.
В 1768 году Казаков присоединился к проекту Большого Кремлевского дворца Василия Баженова. Оба архитектора были одного возраста - 30 лет - но имели очень разные образования. Баженов получил формальное европейское образование, в то время как Казаков изучал свою профессию по ремонту кремлевских реликвий и никогда не путешествовал далеко от Москвы.
Казаков вышел из тени Баженова, получив свое первое личное царское поручение на проектирование временного Пречистенского дворца для Екатерины II. Эта работа принесла ему статус придворного архитектора (1775) и постоянный поток частных заказов. В 1775 году Казаков и Баженов снова работали вместе на временных королевских павильонах для празднования мира с Турцией. Эти готические сооружения побудили Екатерину II дать архитекторам два независимых заказа в готическом стиле — Царицынский дворец (Баженов) и Петровский дворец (Казаков).
Казаков проявил себя и как педагог, организовав при Экспедиции кремлёвского строения архитектурную школу; его учениками были многие архитекторы, работавшие в Москве на рубеже XVIII и XIX вв.: И. В. Еготов, А. Н. Бакарев, О. И. Бове, И. Т. Таманский. В 1805 году школа была преобразована в Архитектурное училище.
В годы правления Екатерины II перестроил центр Москвы в палладианском стиле. Один из крупнейших представителей русской псевдоготики. Разработчик проектов типовой застройки.
Многочисленные частные дома, построенные Казаковым, сформировали облик города до 1812 года. Это были очень простые классические сооружения, состоящие из симметричного прямоугольного ядра с портиком и очень скромной внешней отделкой. "Казаковская Москва" исчезла при пожаре 1812 года; несколько сохранившихся домов были позже изменены, перестроены или снесены.
Наследие Казакова остается в общественных зданиях, загородных дворцах и церквях. Основные работы Казакова, в отличие от Баженова и частных домов его собственного дизайна, почти всегда сосредоточены на фирменных ротондовых залах Казакова.
В 1806 году окончательно ушел из практики.
После Бородинского сражения дети эвакуировали Казакова в Рязань. Там зодчий узнал о пожаре Москвы — это известие ускорило его кончину.
Умер 26 октября (7 ноября) 1812 года в Рязани. Похоронен на кладбище Рязанского Троицкого монастыря, кладбище уничтожено советскими властями.
Дети: три дочери и три сына, все сыновья обучались архитектуре. Павел и Василий умерли молодыми; Матвей пережил своего отца и умер в 39 лет.
Самыми успешными учениками и помощниками Казакова были Иосиф Бове, Иван Еготов (1756–1814), Федор Соколов (1752–1824) и Алексей Бакарев (1762–1817).
Многие памятники казаковской Москвы сильно пострадали во время пожара 1812 года и были восстановлены с отклонениями от первоначального замысла архитектора.
Авторство Казакова в отношении многих палладианских построек, особенно построенных по типовым проектам за пределами Москвы, спорно (несмотря на содержащиеся в краеведческих изданиях утверждения).
Наследие Казакова включает множество графических работ — архитектурных чертежей, гравюр и рисунков, в том числе "Увеселительные строения на Ходынском поле в Москве", "Строительство Петровского дворца".