Nach mehreren verheerenden Stadtbränden (1702, 1855, 1916), die durch die typisch norwegische Holzbauweise begünstigt wurden, erließ die Stadt Verordnungen, die den Bau von Holzhäusern auf dem Stadtgebiet nicht mehr gestattete. Das Hafenviertel Bryggen, das bei den Stadtbränden mehrmals nicht verschont blieb, wurde nach jeder Zerstörung nach originalen Plänen wieder aufgebaut. Das Profil ist daher heute noch dasselbe wie im 12. Jahrhundert. Aus diesem Grund wurde Bryggen als Beispiel hanseatischer Baukunst in Norwegen durch die UNESCO 1979 zum Weltkulturerbe ernannt.
Nach Angaben in den Königssagas wurde Bergen 1070 als Björgvin (Bergwiese) von König Olav Kyrre gegründet. Ab dem 12. Jahrhundert war es norwegische Krönungsstadt; später wurde es in dieser Funktion von Trondheim abgelöst.
Die Stadt wird auch als Tor zu den Fjorden bezeichnet. Sie ist von sieben Hügeln umgeben. Der höchste von ihnen ist der Ulriken (643 m ü. NN), der bekannteste ist der Fløyen (320 m).