24.10.1946. godine spajanjem RSD “Udarnik” i OFD “Sloboda” osnovano je Sportsko društvo “Torpedo”. Klub se prvi put pojavio na jugoslovenskom sportskoj sceni iste godine pod imenom SD Torpedo. Prvi predsjednik novoosnovanog kluba je Safet Džinović, dok su potpredjednici bili Vojo Marković i Alojz Stanarević. Josip Bulat je imenovan za trenera. Novoformiranom timu, koji je naslijedio Udarnika kao i njegove rezultate i položaj u ligi, su se pridružili i odabrani igrači iz Udarnika i Slobode. Na početku to su bili: Hodžić, Vlajičić, Šarenkapa, Pauković, Fizović, Konjević, Radović, Viđen i Mustagrudić a poslije Mantula, Glavočević, Tošić, Pecelj, Novo, Strinić, Đ. Lovrić i Alajbegović. Tim je odigrao svoju prvu utakmicu 3. novembra 1946. godine.
Godinu dana kasnije, 5. oktobra 1947. godine održana je historijska skupština na kojoj je odlučeno da SD Torpedo mijenja naziv u SDM “Sarajevo”. Prema planu koji je iznesen na sastanku u velikoj dvorani fiskulturnog doma novo Sportsko društvo trebalo je okupiti ono najbolje iz grada Sarajeva i BiH.
U septembru 1948. godine, klubu se pridružuje i tadašnja jugoslovenska fudbalska legenda, Miroslav Brozović, koji je u velikoj mjeri u klub donio potrebno iskustvo. Mostarac je ranije nastupao za FK Partizan a bio je i kapitan reprezentacije Jugoslavije s kojom je na olimpijskim igrama u Londonu osvojio i srebrnu medalju. Brozoviću je ponuđena pozicija igrača i trenera što je i prihvatio, okrenuvši se ka cilju da klub uvede u jugoslovensku prvu ligu jer je upravo po okončanju prethodne sezone klub napustio elitni rang nogometnog takmičenja.
Kao samostalan fudbalski klub “Sarajevo” egzistira od 20. maja 1949. godine, a dan kasnije je registrovano u Fudbalskom savezu područja Sarajevo.
Znatno ojačano pomenutim igračima, klub uspjeva u drugoj sezoni Jugoslovenske lige ući u društvo najboljih, ali nakon samo jedne sezone ispadaju da bi se odmah sljedeće sezone vratili u prvu ligu. 1950. godine Sarajevo zauzima peto mjesto, a dvije godine nakon toga klub se sa uspjehom bori za opstanak. Nakon toga sve do sezone 1956/57 Sarajevo se može svrstati u red stabilnih prvoligaša. U sezoni 1956/57, u prvoj sezoni nakon povlaćenja Brozovića iz aktivnog igranja, FK Sarajevo ispada u drugu ligu, a već sljedeće sezone se vraćaju i nekoliko godina opet osvajaju mjesta u sredini tabele.
Ključni igrač za Sarajevo u njegovim ranim godinama bio je Asim Ferhatović, zvani Hase, koji je igrao za klub u periodu između 1952. i 1967. U sezoni 1963/1964. sa ukupno postignutih 19 golova bio je najbolji strijelac jugoslovenske lige, dok je klub završio na četvrtom mjestu.
