Решение о строительстве специального особняка, где военные министры могли проживать бы со своей семьёй было принято лишь в 1872 году. До 1874 года военные министры размещались в бывшем доме Лобанова-Ростовского на Исаакиевской площади.
Заказчиком строительства нового места проживания был военный министр (будущий генерал-фельдмаршал) Дмитрий Алексеевич Милютин.
У Дмитрия Алексеевича была большая семья (жена, пять дочерей и один сын), поэтому планировка дома была продумана так, чтобы дать владельцу возможность совмещать службу, работу своей канцелярии с общественными обязанностями и домашней жизнью.
Проектировал здание известный архитектор, профессор Рудольф Богданович Бернгард. В строительстве принял участие также военный инженер Д. В. Покотилов, а в создании внутренней отделки — архитектор О.Г. фон Гиппиус.
Д.А. Милютин внес большой вклад в укрепление сухопутных войск и боевой мощи Российского государства. Проведенная под его руководством в 1860 — 1870-х гг. военная реформа, вошедшая в историю под названием милютинской, явилась крупнейшим после реформ Петра I преобразованием всей военной системы страны.