Na počiatku vzniku múzea stála Umelecko-archeologická výstava Gemerskej župy, slávnostne otvorená 3. septembra 1882. Jej otvorenie sa považuje za zrod múzea. Vznik GMM je predovšetkým zásluhou nadšenia a entuziazmu konkrétnych jednotlivcov.
Iniciátorom myšlienky a súčasne prvým riaditeľom múzea sa stal Ján Fábry. Základom zbierkového fondu sa po ukončení Umelecko-archeologickej výstavy Gemerskej župy pred 125 rokmi stali predmety, ktoré darovali alebo deponovali rodiacemu sa múzeu rôzne osobnosti. Počas nasledujúcich desaťročí až po súčasnosť sa zbierkový fond múzea rozrástol o tisícky ďalších predmetov z oblastí paleontológie, geológie, prírodných vied, archeológie, histórie, národopisu a výtvarného umenia. Počiatky však neboli vôbec jednoduché. Počas prvých troch desaťročí múzeum vystriedalo niekoľko priestorov, až sa napokon v roku 1910 definitívne presídlilo do klasicistickej budovy bývalých delostreleckých kasární z roku 1850, v ktorej je dodnes. Budova múzea je národnou kultúrnou pamiatkou. Súčasťou objektu je aj mimoriadne cenná historická knižnica pozostávajúca z 32 734 knižničných jednotiek. Hlavným zameraním múzea sa stala dokumentácia prírody a spoločnosti historického regiónu Gemera a Malohontu. Jeho špecializáciou je od roku 1996 dokumentácia hmotnej a duchovnej kultúry Rómov v širšom regióne. Oficiálne oslavy 125. výročia vzniku múzea sa uskutočnia 6. septembra. Návštevníkom sprístupnia bohatstvo zbierkových fondov, ktoré bolo väčšinou ukryté pred ich zrakmi. Samostatná výstava bude venovaná histórii Gemersko-malohontského múzea v Rimavskej Sobote od roku 1882 až po rok 2007. Pri tejto príležitosti už v máji tohto roku verejnosti sprístupnili výstavu prezentujúcu najunikátnejšie exponáty zo zbierkového fondu múzea.