Нельзя утверждать достоверно, где именно впервые была изобретена ручная гармонь. Широко распространено мнение, что гармонь была изобретена в Германии, в начале XIX века уроженцем города Фридрихрода Кристианом Бушманом (нем). Также некоторые считают гармонь русским изобретением. Согласно исследованиям академика Мирека, первая гармонь появилась в Санкт-Петербурге в 1783 году стараниями чешского органного мастера Франтишека Киршника (он придумал новый способ извлечения звука — при помощи металлического язычка, колеблющегося под действием потока воздуха). Существуют и другие взгляды на этот вопрос.
Гармонь считается народным инструментом татар со второй половины XIX века.