El nombre proviene de un árbol de tal especie perteneciente a los jardines de Rodrigo de Vargas, descendiente directo del amo de San Isidro, Iván de Vargas. Al crearse la calle, el almendro quedó en medio, mandándose talar en 1742 por el estorbo al pasar. La parte más antigua de esta calle recibe actualmente el nombre de “Travesía del Almendro”. En ella estaba el establo que utilizaba San Isidro para guardar los bueyes, así como el pozo que usaba para dar de beber al ganado. En un tramo de la calle, se encuentran tras una reja restos de la muralla cristiana y que pueden ser contemplados en la actualidad.