В 1821 г. было начато строительство особняка в парижском пригороде Сен-Жермен для четвертого сына маршала Люксембургского Кристиана-Луи де Монморанси, герцога Люксембургского, принца Тэнгри, маршала Франции с 1734 г., отличившегося во всех войнах короля Людовика XIV.
Недостроенное здание принц Тэнгри в 1721 г. продал губернатору Нормандии графу де Торини Гойону де Матиньон, имя которого закрепилось за особняком. Строительство особняка было завершено при его сыне Жаке-Франсуа, муже старшей дочери князя Монако. После смерти Жака-Франсуа в 1751 г. особняк перешел его сыну Оноре-Камилю, ставшему после смерти своей матери суверенным принцем Монако. В период Великой французской революции в 1793 г. особняк был секвестрирован государством, затем возвращен детям принца Монако, которые в 1804 г. его продали.
Новый владелец уступил особняк в 1808 г. министру иностранных дел Талейрану. По указанию императора Наполеона I Талейран в Матиньонском особняке устраивал четыре раза в неделю пышные приемы. В 1811 г. Талейран продал его государству.
После восстановления в 1814 г. династии Бурбонов на королевском троне король Людовик XVIII обменял Матиньонский особняк на Елисейский дворец, принадлежавший герцогине де Бурбон.
В 1822 г. Матиньонский особняк стал собственностью племянницы герцогини де Бурбон принцессы Аделаиды Орлеанской, сестры герцога Луи-Филиппа, будущего короля Франции (1830-1848).
В 1844 г. особняк унаследовал племянник принцессы Аделаиды Орлеанской герцог де Монпансье, который в 1852 г. продал его женевскому банкиру, герцогу де Галльера. Его вдова, герцогиня де Галльера, завещала особняк австрийскому императору Франсуа-Жозефу. С 1888 по 1914 г. в нем размещалось посольство Австрии.
С началом I-ой мировой войны особняк был секвестирован французским государством. С 1920 г. в особняке находился Арбитражный суд, созданный в соответствии с Версальским договором.
С 1935 г. особняк стал резиденцией Премьер-министра Франции.