Em 1840, o prefeito de Inverness, James Saffran, construiu a destilaria sobre as ruínas da cervejaria Muirtown, ao lado do Canal Caledônio, permitindo acesso conveniente aos mercados do sul pelo mar. No entanto, nove anos após a inauguração, a destilaria sofreu um incêndio e danos graves. Em 1855, os bens de Saffran foram confiscados. A destilaria e seus edifícios permaneceram vazios por 20 anos, sendo usados apenas como moinho durante esse período. Após 1884, o comerciante de grãos William Grigor adquiriu-a e construiu uma destilaria maior no local original. O gerente John Birnie, em parceria com a Charles Mackinlay & Company, comprou o terreno do outro lado em 1892 e construiu a Destilaria Glen Mhor (ver entrada separada). Em 1920, as duas empresas adquiriram o Glen Albyn. Em 1972, o Glen Albyn foi adquirido pela D.C.L. e transferido para a S.M.D. Ambas as destilarias fecharam em 1983 e o local do Glen Albyn é hoje um supermercado.

Durante a Primeira Guerra Mundial, diz-se que o Glen Elgin foi requisitado pela Marinha Britânica como base naval para fabricação de minas, embora algumas fontes afirmem que serviu como estação para construção de quebra-mares. Em 1954, as caixas Saladin substituíram a malteação tradicional no chão da destilaria. Apesar de estar a apenas alguns passos de distância, o whisky do Glen Elgin é completamente diferente do Glenmorangie e tem uma avaliação mais alta.