Строительство особняка началось в 1721 году по заказу Жана Куртена - сына графа Люксембургского. После Великой французской революции 1789 года особняк находился в собственности разных лиц, в частности министра иностранных дел Талейрана, который любил устраивать там роскошные приемы.
В 1815 году особняк был обменен Людовиком XVIII на Елисейский дворец, который принадлежал графине Бурбонской. Впоследствии особняк принадлежал сестре Луи-Филиппа, а также графу Монпансье. До 1918 года здесь размещалось Посольство Австро-Венгрии, с 1935 по 1959 год - канцелярия Госсовета. С января 1959 г. в особняке находится кабинет премьер-министра.
В особняке в основном сохранен изысканный архитектурный интерьер XVIII века, особенно характерно подчеркнутый в белом с позолоченными отделками салоне на первом этаже. В залах второго этажа имеются картины известного французского художника Фрагонара.
Достопримечательностью особняка является также прилегающий к нему сад, один из самых больших и красивых в Париже.