Po skončení akadémie bol Šmigovský v roku 1926 priradený k pechote ako poručík. Pôsobil aj ako inštruktor poddôstojníckej školy. V roku 1931 bol povýšený na nadporučíka, v roku 1936 na kapitána, 1. júla 1941 na majora a 13. septembra 1944 na podplukovníka, čo bola jeho najvyššia dosiahnutá hodnosť.

Počas ČSR pôsobil Šmigovský v Hraniciach, Chomútove, Žiline, Čadci a Ružomberku.

Po vzniku Slovenského štátu bol v máji 1939 Šmigovský podľa rozhodnutia Ministerstva národnej obrany (MNO) pridelený k Hlavnému veliteľstvu Hlinkovej gardy ako pridelenec ministerstva. Už v auguste 1939 však tento post opustil na vlastnú žiadosť. Potom pôsobil ako veliteľ práporu, neskôr pluku v Trnave, inštruktor pre výcvik dôstojníkov v Bratislave a ako veliteľ výcvikového tábora v Lešti (tu okrem iného dohliadal na pracovné jednotky Židov).

Keď v júni 1941 vypukla na východe vojna proti boľševizmu, Šmigovský sa jej zúčastnil v hodnosti majora. V Rusku bol dvakrát: od júla 1941 do januára 1942 a od júna 1943 do októbra 1943. Pôsobil okrem iného v Dobromile, Novomoskovsku, Taganrogu, či na Kryme. Hoci sa jeho jednotky nezúčastnili priameho boja a konali len strážnu službu, výcvik a pomocné práce, predsa sa snažil, aby vynikli: ako aj počas celého svojho pôsobenia v armáde. „Mne šlo o to, aby i Slovák ukázal na vojenskom poli, že sa vie uplatniť,“ povedal Šmigovský (Zápisnica o hlavnom pojednávaní v trestnej veci proti J. Šmigovskému z 21. septembra 1945, str. 3 – A853/119).

Počas služby v Sovietskom zväze ochorel Šmigovský na maláriu a dyzentériu. Po uzdravení z choroby bol v januári 1944 ustanovený za veliteľa pechotnej školy a mestskej posádky v Nitre.

Šmigovský sa politicky neangažoval počas celého svojho života (čo sa v armáde ani nesmelo, či už za ČSR alebo SR). O politiku sa nezaujímal, nikdy nebol členom HSĽS, čo samozrejme neznamená, že nezastával niektoré zásadné postoje. V niektorých veciach mal jasno: celú dobu svojej služby bol známy ako Slovák, pretože slovenskú otázku chápal hlbšie ako mnohí z jeho kolegov. „Politike som nerozumel, no rozumel som tomu, že som Slovák,“ ako to sám povedal (Zápisnica o hlavnom pojednávaní v trestnej veci proti J. Šmigovskému z 21. septembra 1945, str. 3 – A853/119). Žiadne konflikty s československy orientovanými kolegami v armáde nemal.

Šmigovský aj svoje poslanie v armáde chápal hlbšie, bol zanietený pre slovenskú vec. Nešlo mu o osobnú slávu ani kariérny postup. O prístupe k svojmu povolaniu sa vyjadril: „Nebol som karieristom. Keď ma chcel minister Haššík v dobe povstania povýšiť, prosil som Haššíka, aby ma nepovyšoval. Povedal som mu: mne o povýšenie nejde, nechcem byť povýšený.“ (Zápisnica o hlavnom pojednávaní v trestnej veci proti J. Šmigovskému z 21. septembra 1945, str. 6 – A853/120) Na rozdiel od mnohých ďalších dôstojníkov vôbec nevyhľadával spoločnosť politikov, ani sa s nimi z vlastnej iniciatívy nekontaktoval. „[Ž]il som len rodine a službe,“ vyjadril sa (Zápisnica o hlavnom pojednávaní v trestnej veci proti J. Šmigovskému z 21. septembra 1945, str. 5 – A853/120).