Les bâtiments de l’ancien couvent des Oratoriens vont être démolis, laissant uniquement l’église de l’Oratoire.
L’Oratoire va être séparé du palais du Louvre par une large avenue alors qu’il était auparavant dans le même ensemble.
Pour garder la continuité des arcades tout en laissant apparaître le beau chevet de l’Oratoire, l’architecte Baltard a l’idée de construire ce balcon unique en son genre.

La première partie, en partant de la Concorde est percée sous les ordres de Napoléon Bonaparte en 1800-1835, bordée au nord d’immeubles de Percier et Fontaine, avec cette galerie inspirée des villes d’Italie. C’est d’ailleurs d’Italie que lui vient ce nom de Rivoli, lieu d’une victoire de Bonaparte en 1797. Dans le « grand dessein » de Napoléon, le Palais du Louvre est agrandi de la partie qui est actuellement occupée par le musée des Arts Décoratifs, ce sera Louis XVIII qui achèvera cette construction. Les travaux se poursuivront tout au long du XIXe siècle, ils arrivent au niveau de la place du Palais-Royal en 1835, puis au niveau de l’Oratoire vers 1854. Napoléon III amplifiera encore ces grands travaux dans Paris à son retour d’exil en 1848, il veut rendre Paris plus salubre en ouvrant de grandes avenues et des parcs.

Pour faire place aux nouvelles rues, les bâtiments annexes de l’ancienne congrégation de l’Oratoire, côté Marengo (ex rue du Coq) vont alors être démolis, ainsi qu’une galerie couverte d’une terrasse qui restait de l’hôtel du Bouchage et qui communiquait avec l’église. Les rues du Coq ( future Marengo) et de l’Oratoire qui étaient des impasses vont être percées sur la nouvelle rue de Rivoli.

La galerie-terrasse de l’Oratoire va être construite entre 1854 et 1856 avec des matériaux provenant de la place de la Concorde. Là encore, plusieurs projets existaient, et l’on doit au protestant Baltard d’avoir ainsi ce beau dégagement de l’Oratoire sur la rue de Rivoli et sur le palais du Louvre.