築城年代は定かになっていないが、赤松円心の防衛拠点として記録に登場する。
足利氏追討の為新田義貞軍が押し寄せた時、白旗城の赤松円心が室山城に長男範資を置いて守らせたが、新田義貞の軍勢によって落城した。しかし白旗城は落城せず持ちこたえ、九州へ逃れた足利尊氏が再び大軍を率い上洛すると、新田軍は白旗城から退いた。戦国時代、備前国三石城主浦上氏の重臣則宗が室山城主となった。 1566年浦上政宗は姫路城主黒田職隆と縁組みを結ぶため二男清宗とともに室山城にいた所、龍野城主の赤松政秀によって急襲され政宗・清宗父子は討死し室山城は以降廃城となった。