В 1718 г. на почти пустынном тогда месте по проекту архитектора Моле был построен особняк для графа д'Эвре. В 1753 г. его приобрела маркиза де Помпадур (1721-1764). По ее завещанию особняк перешел в собственность короля и в течение нескольких лет служил резиденцией иностранных чрезвычайных послов. В 1773 г. владельцем особняка стал финансист, банкир королевского двора Божон, который значительно расширил его, пристроив с восточной стороны павильон, в котором впоследствии был будуар императрицы Марии-Луизы. После реконструкции особняк превратился во дворец.
В период Великой французской революции дворец был национализирован, и в течение нескольких месяцев в нем размещалась типография, где печатались законодательные документы.
В 1805 г. дворец купил маршал Мюрат, и после реставрации устраивал в нем пышные приемы и балы. Став в 1808 г. королем Неаполя, Мюрат уступил дворец Наполеону I, и дворец получил название «Элизе-Наполеон».
В период пребывания союзных войск в Париже в 1814 г., с 12 апреля по 2 июня, дворец был резиденцией императора России Александра I.
В 1815 г. император Наполеон I несколько дней провел во дворце. Здесь 22 июня он подписал свое второе и окончательное отречение от престола. Во время второй оккупации союзными войсками Франции после битвы при Ватерлоо дворец с 10 июля 1815 г. вновь был предоставлен в распоряжение Александра I, который провел здесь около трех месяцев.
Затем дворец принадлежал королю Франции, использовался как гостевая резиденция. С 1 по 11 июня 1867 г. во дворце останавливались российский император Александр II, императрица Мария Александровна и их сыновья - Александр (будущий император Александр III) и Владимир, приезжавшие по приглашению императора Франции Наполеона III на Всемирную промышленную выставку.
С 1873 г. Елисейский дворец стал официальной резиденцией президентов республики.
Дворец построен по общепринятому в ХVIII в. плану застройки городских резиденций французской аристократии с почетным двором с фасада и садом-парком с аллеями, цветниками и фонтанами позади здания. Центральные массивные въездные ворота в почетный двор, отделенный от улицы высокой каменной стеной, выходят на улицу Фобур-Сент-Оноре. Въезд в парк-сад осуществляется через церемониальные «ворота петуха», выходящие на авеню Габриель со стороны Елисейских Полей. По установленному со времен Третьей Республики (1870) государственному протоколу «ворота петуха» открываются только при торжественном въезде вступившего в должность президента в Елисейский дворец.
Как правило, президенты Французской Республики постоянно проживают во дворце вместе с семьей.
С конца XIX века в Елисейском дворце неоднократно проходили российско-французские и советско-французские встречи на высшем государственном уровне.