Varberg liegt in der schwedischen Provinz Hallands län und der Provinz Halland.

Die Stadt gelegen am Kattegat, ist der Hauptort der Gemeinde Varberg.

Die attraktive Lage der Stadt mit schönen Sandstränden und zahlreiche Sehenswürdigkeiten, wie z. B. die Festung und die Heilquelle Svartekällan, lockt jährlich viele Touristen an.

Die Festung wurde bereits  im 13. Jahrhundert erbaut. Etwa ab der Mitte des 17. Jahrhunderts diente die Festung als Gefängnis.