Pierwsze żeglarskie kroki stawiał w wieku 22 lat, gdy zapisał się na kurs na Uniwersytecie Kalifornijskim. Było to w 1966 roku. Mając 25 lat kupił 34–stopowy regatowy slup. Po kilku latach musiał go sprzedać, ponieważ był zajęty tworzeniem swojej firmy informatycznej i nie miał czasu na żeglowanie. W 1982 roku ta firma przyjęła nazwę od swego głównego produktu – Oracle. Cztery lata później, gdy weszła na giełdę, 39% udziałów Larrego w firmie było warte ponad 90 mln USD.
W 1994 roku Larry Ellison, spełniony biznesmen miał drugi życiowy cel. Było to wzięcie udziału i zwycięstwo w słynnym wyścigu Sydney Hobart w 1996 roku. Chciał z wielkim przytupem wejść w świat regatowego żeglarstwa. By zrealizować ten plan kupił największą jednostkę klasy maxi, 96-stopowy jacht Sayonara. Jak można się domyślać, wygrał te regaty.
Jednak najważniejsze doświadczenie, którego doznał na oceanie, przyszło dwa lat później, w 1998 roku gdy postanowił powtórzyć swój wyczyn. Pieniądze wydane na przygotowania do regat się nie liczyły. Jacht Ellisona był największą i najlepiej przygotowaną jednostką na starcie wyścigu.
Edycja w 1998 roku okazała się jedną z najbardziej tragicznych w historii. Sztorm na Morzu Tasmańskim przerodził się w huragan, który zmasakrował jachty i żeglarzy. Ze 115 jachtów, jedynie 45 ukończyło wyścig. Pięć jachtów zatonęło, dwadzieścia cztery zostały porzucone, sześciu żeglarzy straciło życie. Prowadzona akcja ratownicza była największą operacją w historii Australii.
Larry Ellison, który sterował jachtem Sayonara, przetrwał sztorm i wygrał te regaty, ale był to bardzo trudny rejs. Jacht prawie frunął w powietrzu, jeden z członków załogi wypadł, ale udało się go uratować. Ellison przez trzy dni wyścigu wymiotował niezliczoną ilość razy i prawie nic nie jadł. Mówił, że nigdy go nie zapomni, był przekonany że zginą.
„Zawodowi żeglarze dostają za takie rzeczy pieniądze, a tu ja sam jeszcze to finansuję. To strasznie głupie, żeby zginąć w ten sposób. ”, powiedział i postanowił, że nie będzie już brał udziału w długich oceanicznych regatach.
Do roku 2000 Sayonara wygrał pięć mistrzostw świata jachtów klasy Maxi, a żeglarska pasja Ellisona skierowała się na Puchar Ameryki.
W 2003 stworzył zespół regatowy BMW Oracle Racing i dwukrotnie bezskutecznie próbował wygrać kwalifikacje do walki o Puchar (w 2003 i 2007 roku). Udało mu się to dopiero w 2010 r. Wygrał 33 edycję regat i po raz pierwszy od 1995 r. Puchar wrócił do Stanów Zjednoczonych.
W 2013 roku obronił Puchar przed zakusami Nowozelandczyków z zespołu Emirates Team New Zealand. To drugie zwycięstwo było wielkim powrotem Amerykanów na żeglarski Olimp.
Zapytany przez jednego z dziennikarzy, dlaczego tak bardzo chciał wygrać walkę o Puchar po raz drugi z rzędu, Larry Ellison powiedział „To śmieszne. Po wcześniejszej dwukrotnej porażce uświadomiłem, że mój charakter nie pozwala mi czegoś przerwać, w momencie gdy przegrywam. A po pierwszej wygranej, uświadomiłem także że mój charakter nie pozwala mi przerwać w momencie, gdy wygrywam”.
Larry Elisson ma obecnie 75 lat i jest jednym z najbogatszych ludzi na świecie. Zgromadzona fortuna pozwoliła mu – jak mówi w wywiadach – powrót do żeglarstwa, które pokochał jako młody chłopak.