Le monument se dresse à l’endroit même où le général Murat a fait fusiller de nombreux Madrilènes après le soulèvement du 2 mai 1808.

Après diverses tentatives de créer un monument en hommage à tous les combattants anonymes morts pendant ces deux jours, la première pierre a été posée le 21 avril 1821.

La construction en a été arrêtée puis reprise en 1836. L’inauguration a été finalement célébrée le 2 mai 1840, jour anniversaire de l’évènement.

Le 22 novembre 1985, le roi Juan Carlos Ier a inauguré à nouveau le monument, devenu le monument à la mémoire de tous ceux qui sont tombés pour l’Espagne. Une flamme éternelle perpétue le souvenir de tous les martyrs tombés pour l’Espagne.

Le monument rejoint ainsi la liste des nombreux mémoriaux élevés un peu partout dans le monde ayant un caractère de symbole national et qui portent fréquemment le nom de tombe du Soldat Inconnu.