リトルミルは1772年（税関職員の公舎が建設された年）にはすでに設立されていたと主張し続けていますが、その前には隣接するダングラス城に付属する醸造所がこの敷地にあり、その歴史は14世紀に遡ります。何度も所有者が変わる中、リトルミルは1875年にウィリアム・ヘイによって拡張され、その後も何度も手が変わり、1931年に元税関職員の公舎に住んでいたアメリカ人紳士ダンカン・トーマスに買収されました。彼は1965年にグレンリベットの米国代理店であるバートン・ブランズ（Barton Brands）と提携してロモンド湖蒸留所（Loch Lomond Distillery）を設立しました（関連項目を参照）。後者は1971年にリトルミルとロモンド湖におけるダンカン・トーマスの残りの持ち分を取得しました。1984年、両蒸留所とも休止状態となりました。翌年、ロモンド湖はグレン・キャトリン保税倉庫有限公司（Glen Catrine Bonded Warehouse Ltd）に売却されました。現在、同社はバートン蒸留（スコットランド）有限公司（Barton Distilling [Scotland] Ltd）に改名され、グラスゴーの合同蒸留製品会社（Amalgamated Distilled Products、アーガイルグループ[Argyll Group]の一部）が統括しています。1987年、合同蒸留製品会社はそのウイスキー事業権をギブソン・インターナショナル（Gibson International）に売却しました。リトルミルは1989年に生産を再開し、当時同社はキャンベルタウンのグレン・スコティア蒸留所（Glen Scotia Distillery）も買収しました。2年後、ギブソン・インターナショナルとその蒸留所は、イアン・ロックウッド（Ian Lockwood）社長とボブ・マードック（Bob Murdoch）財務ディレクターによる「数百万ポンド」の経営陣買収（MBO）で買収されました。再編された会社は1994年に経営破綻手続きに入り、その資産はグレン・キャトリン保税倉庫が買収し、後者は2年後にリトルミル蒸留所を解体しました。その後の数年間、建物は老朽化し、2003年に火災に見舞われました。敷地はほぼ片付けられました。現存するリトルミルの在庫はロモンド湖グループ（Loch Lomond Group）が所有しており、同グループは2015年に25年物の製品を発売しました。

1821年の政府による最初のウイスキー調査では、リトルミルが年間20,000ガロン（90,000リットル以上）のスピリッツを生産していたことが明らかになりました。アルフレッド・バーナードが1880年代半ばに蒸留所を訪問した際、生産量は年間150,000ガロンに達しており、「イングランド、アイルランド、インド、および植民地」へ販売されていました。バーナードはこの地を「テムズ川河畔のリッチモンドとは全く異なる魅惑的な風景に満ちている。丘と木々の生い茂る植林は静謐な美しさを備え、夏のバラで満開の生け垣が段をなして続き、この場所を芸術家たちに最も愛された保養地となっている」と描写しました。当蒸留所はかつてブレンド用に「ダムバック」（強いピート）および「ダングラス」（軽いピート）スタイルのスピリッツを生産したことがありました。