Ulsberget har i likhet med Ullandhaug et navn som stammer fra den norrøne guden Ull, som var gud for tvekamp og jakt.