1840 errichtete der Bürgermeister von Inverness, James Saffran, die Destillerie auf den Ruinen der Brauerei Muirtown am Caledonian Canal, was einen bequemen Zugang zu den südlichen Märkten über die Seeroute ermöglichte. Doch neun Jahre nach der Eröffnung brach ein Feuer aus und verursachte schwere Schäden. 1855 wurde Saffrans Besitz konfisziert. Die Destillerie und ihre Gebäude standen 20 Jahre leer und wurden in dieser Zeit nur als Mühle genutzt. Nach 1884 erwarb der Getreidehändler William Grigor das Gelände und errichtete eine größere Destillerie am ursprünglichen Standort. Der Manager John Birnie erwarb 1892 in Partnerschaft mit Charles Mackinlay & Company das gegenüberliegende Gelände und baute die Glen Mhor Distillery (siehe separater Eintrag). 1920 erwarben die beiden Unternehmen Glen Albyn. 1972 wurde Glen Albyn von D.C.L. übernommen und in die S.M.D. überführt. Beide Destillerien wurden 1983 geschlossen; der Standort von Glen Albyn ist heute ein Supermarkt.

Während des Ersten Weltkriegs soll Glen Elgin von der Admiralität als Marinestützpunkt für die Herstellung von Minen beschlagnahmt worden sein, obwohl andere Quellen behaupten, es habe als Station zum Bau von Wellenbrechern gedient. 1954 ersetzten Saladin-Boxen die traditionelle Bodenmalzerei der Destillerie. Obwohl nur einen Steinwurf entfernt, ist Glen Elgins Whisky völlig anders als Glenmorangie und genießt höhere Anerkennung.