El castillo de Sasayama es muy simple en forma. Desde el cielo se ve como un cuadrado. Fue construido con la última tecnología que ofrece una firme defensa. El Umadashi es una especie de Kuruwa (zona que rodea el castillo con paredes de piedra y fosa) hecho en la parte exterior de la fosa que sirve para consolidar la defensa de la entrada al castillo, pero se utilizó también para reunir a las tropas y atacar a la vez desde el castillo. Fueron establecidos en la puerta principal, este y sur, pero ahora sólo permanecen los Umadashi del este y Umadashi del sur.