Varberg liegt in der schwedischen Provinz Hallands län und der Provinz Halland. Die Stadt gelegen am Kattegat, ist der Hauptort der Gemeinde Varberg.