Han ble født i Bergen i 1883, i et rederhjem der havet var en naturlig del av familien. Etter handelsskolen dro han til sjøs i 1901, før han tilbrakte tre år på tegnekontoret ved et britisk verft. I 1905 begynte han så i farens rederi, og fra 1814 ble han sammen med broren Olaf Grolle Olsen medeier i rederiet.

Men så var det skihistorien. For Ingolf var en sentral skikkelese her, som viseformann i Norges skiforbund fra 1920 til 1927, akkurat i den perioden norsk skisport gikk fra å være en nasjonal stolthet til å bli en internasjonal stormakt, tiden da Norge ikke bare deltok i vinteridrett, men omtrent oppførte seg som om landet hadde  patent på vinteridrett. I årene før hadde han også vært viseformann i Norges Tennisforbund.

I 1924 var Hysing Olsen med på å stifte Det internasjonale skiforbund, FIS. Han ble forbundets første visepresident, med svenske Ivar Holmquist som leder. Skisporten trengte regler, konkurranseformer og internasjonale avtaler, og folk som kunne føre ordet uten å miste hodet. Hysing Olsen som var vant til å forhandle med briter om skip og tonnasje, kunne nok håndtere en og annen skandinav, mellomeuropeer og hoppdommer med sterke meninger.

Og under det første vinter-OL i Chamonix 1924 tok han også en direkte rolle i hoppsporten, som dommer. Han sto altså ikke bare i kulissene, han tok også sin rolle i selve apparatet rundt et av de viktigste øyeblikkene i hoppsportens historie; det første OL-rennet.

To år senere var han leder for den norske troppen under verdensmesterskapet i Lahti, og fikk oppleve flere norske gull, blant annet for Jacob Tullin Thams i hoppbakken. 

Samtidig som han tok sin naturlige plass i skihistorien, var han minst like aktiv i det som foregikk til sjøs. Han fikk blant annet framforhandlet en tonnasjeavtale med Storbritannia som sikret Norge forsyninger under ubåtkrigen. Arbeidet gjorde han så godt at han ble utnevnt til kommandør av Order of British Empire.

Under andre verdenskrig fikk han et enda større ansvar, da han var med på å etablere Notraship i London, administrasjonen som skulle holde den norske handelsflåten utenfor tysk kontroll. Fra sommeren 1940 tok han ledelsen her og Nortraship disponerte over tusen norske skip og ble omtalt som verdens største rederi. For sitt arbeid og sin rolle i norsk skipsfart ble han hedret med St.Olavs Orden, først som ridder av 1.klasse i 1939, og senere som kommandør med stjerne i 1945.  Han døde i Bergen i 1961.