En 1840, le maire d'Inverness James Saffran construisit la distillerie sur les ruines de la brasserie Muirtown, au bord du canal du Caledonian, permettant un accès facile aux marchés du sud par la mer. Cependant, neuf ans après son ouverture, la distillerie fut ravagée par un incendie qui causa d'importants dégâts. En 1855, les biens de Saffran furent confisqués. La distillerie et ses bâtiments restèrent vacants pendant 20 ans, n'étant utilisés que comme moulin à cette époque. Après 1884, le grainier William Grigor l'acquit et construisit une distillerie plus grande sur le site d'origine. Le gérant John Birnie, en partenariat avec Charles Mackinlay & Company, acheta le terrain en face en 1892 et construisit la distillerie Glen Mhor (voir entrée séparée). En 1920, les deux sociétés acquirent Glen Albyn. En 1972, Glen Albyn fut acquise par D.C.L. et transférée à la S.M.D. Les deux distilleries fermèrent en 1983 et l'emplacement de Glen Albyn est aujourd'hui un supermarché.

Pendant la Première Guerre mondiale, on rapporte que Glen Elgin a été réquisitionné par l'Amirauté comme base navale pour la fabrication de mines, bien que certaines sources affirment qu'il servait de station de construction de brise-lames. En 1954, les boîtes Saladin ont remplacé le maltage traditionnel sur sol de la distillerie. Bien qu'à quelques pas seulement, le whisky de Glen Elgin est complètement différent de celui de Glenmorangie et jouit d'une meilleure réputation.