江戸時代の室津は姫路藩の飛び地であり、また参勤交代や朝鮮通信使、オランダ公使などの江戸参府の際の本州への上陸点として極めて重要な港町であった。そのため姫路藩はその初期から番所に兵を置いて警護にあたらせていた。番所の駐在者は20名程度であった。2人のドイツ人の記録が残っている。最初はケンペルで、次はシーボルトである。時代差はあるが、10本の槍、5本の薙刀があり、シーボルトの時代には港を掃射できる砲台があった。彼らの記述には「彼らは敬意を表してうずくまり（土下座）少しの騒音も立てなかった」「彼らはひざまずき、高度に敬意を表して礼儀正しく静まり返っている」と印象深い日本人の様子を残している。