Allerede som ung gutt, medfulgte Sivert sin far på lange reiser, og ble således i en ung alder fullbefaren sjømann. Knapt 23 år gammel i 1833 overtok han førerstillingen på skonnerten «Aleksander», som var innkjøpt fra Russland. Det
var det første fartøyet fra Tromsø som ble anvendt i fart på utlandet. Med dette fartøyet seilte S. R. With på fangst i Ishavet i 7 år. På en av reisene kom han, ifølge skipsjournalen, helt opp til 83º nordlig bredde.
S. R. With var en kraftig og initiativrik mann. Således var han med på at danne et selskap i Tromsø i 1840, hvis formål var å drive håkjerringfangst langs kysten utenfor Lofoten og nordover. I den anledning reiste han sydover og kjøpte 3 fartøyer for interessentskapet.
Han fikk også rederne Mack og Aagaard med på en plan å anskaffe et skip for utenriksfart. Med dette spesielle oppdraget – å bestille og tilse bygningen av et passende skip, dro han til Bremen.
Det nye skipet fikk navnet «Polarstjernen», og var bestemt til utenriksfart. Det var visstnok den første skuta hjemmehørende nordafor Trondheim som var bygget for utenriksfart. Fartøyet, en skonnert, var bare på 41 kommercelester. Med denne lille skuta foretok With i noen år turer helt ned på Middelhavet og deretter regelmessige turer på Hamburg, Bremen, Rotterdam og Arkhangelsk. Med «Polarstjernen» gjorde Tromsøkjøpmennene sine utenlandsreiser, og som regel medfulgte en 4 à 5 kjøpmenn på hver tur. Skipet gjorde hvert år 3 turer til Hamburg eller Bremen og Rotterdam og en tur til Arkhangelsk. Dette skaffet rederne en ganske god fortjeneste.
Sivert With var høyt ansett og skattet både som sjømann og borger. Han ble bl. a. innvalgt i den store fyrkommisjonen som utvalgte steder på kysten for opprettelse av fyr. Selv ble With da han sluttet å seile som skipper, ansatt som forvalter av Andenes fyr. Herfra oversendte han i 1874 til amtmannen i Nordland, den første søknaden om undersøkelse av Andenes havn, hvilket med kommunestyrets anbefaling ledet til det store moloanlegg der – et foretagende av den største betydning for fiskerflåten. Endelig var Sivert With en av stifterne av Vesterålens dampskipsselskap, idet han var den første – som etter henvendelse fra sønnen Richard i 1881 gav planen støtte og anbefaling.
Sivert R. With døde i sitt 89. år og ble begravet i Molde.