現在は静かな漁港であるが、天平の頃、行基が開いた摂播五泊の一つで、三方を山に囲まれた入江の中は波静かで、まるで室の内のようだと「室の泊」と名づけられた。帆船時代には瀬戸内海の重要な港として栄え、遊女発祥地として色々な伝説や悲話が残っている。高倉上皇・平清盛が厳島神社を訪れる時に立ち寄り、賀茂神社周辺や遊女の記録の他、美しい鏡のような港を見た事も記されている。江戸時代には参勤交代の大名の船、朝鮮通信使の船とガイドの姫路藩の船で埋め尽くされた。また北前船の寄港地でもあった。水不足に悩む室津では港が船で一杯になった時には水を詰めた樽を載せた船は西隣の大浦湾に停泊し、陸路水を運んでいた。当時の絵図を見ると、その栄えた様は今となっては想像もつかない程である。明治になり参勤交代が無くなり、動力船の普及、他港の改良等に従い急速に衰えた。