Żeglarstwo jest życiową pasją króla Norwegii. Odziedziczył ją po ojcu i dziadku. Swoją pierwszą żaglówkę dostał od ojca gdy miał 11 lat. W wieku 22 lat wygrał pierwszy puchar w regatach. Trzykrotnie był reprezentantem Norwegii w żeglarstwie na igrzyskach olimpijskich.
Gdy w 1991 roku po śmierci swego ojca, Olafa V, obejmował tron Królestwa Norwegii targały nim obawy na dwóch płaszczyznach. Martwił się, czy dorówna swemu ojcu jako głowa państwa, oraz że będzie musiał pożegnać się z żeglowaniem regatowym na najwyższym poziomie jako zajęciu obarczonym zbyt wysokim ryzykiem. Powiedział wtedy „Całe życie ścigam się na jachtach. Nie można nagle ot tak przestać.”
Morze jest miejscem, gdzie czuje się najlepiej ze sobą. Autorom swojej biografii mówił: „Na pokładzie jachtu nie muszę być królem , tam po prostu jestem Haraldem, jednym z chłopaków”. Świetnie się czuje na pokładzie regatowego jachtu, gdzie wszyscy członkowie są równi. Nigdy nie płynie za nim drugi jacht z oficerami ochrony.
Jak przyznawali inni członkowie załogi, czasem trudno zapomnieć , że ich sternik to człowiek, który na co dzień siedzi na tronie Królestwa Norwegii, a nie za kołem sterowym regatowego jachtu. Ciężar tej świadomości dopadał ich najczęściej wtedy, gdy w ciężkich warunkach na morzu walczyli o utrzymanie jachtu przed wywrotką. Myśleli o potencjalnych konsekwencjach, gdyby cokolwiek stało się ich koledze z załogi.
Jedno z takich zdarzeń miało miejsce w 2004 roku, na jachcie Fram XV w trakcie regat u wybrzeży Hiszpanii. Podczas wykonywania manewru w ciężkich warunkach na morzu i przy silnym wietrze, Harald dostał silne uderzenie bomem w głowę. Przez dłuższą chwilę leżał bez świadomości na pokładzie, bez ruchu i z zakrwawionym czołem. Gdy oprzytomniał, członkowie załogi zapytali czy powinni wycofać się z regat i płynąć do portu. „Kontynuujemy wyścig” powiedział król Harald. Wśród członków załogi i przyjaciół zdarzenie to było potem określane jako „moment, w którym król prawie abdykował”.
Wiele ciekawych wspomnień o Haraldzie V ma Roman Paszke, który żeglując na jachcie MK Cafe rywalizował z nim w Żeglarskich Mistrzostwach Świata Admiral’s Cup w 1997 roku.