Die ersten Pläne der Kirche St. Josef wurden im April 1955 von dem beauftragten Architekten Werner Groh der Pfarrgemeinde vorgelegt. Er plante eine breite nach Osten ausgerichtete Kirche mit frei stehendem Altar, dem die Gläubigen nahe sein konnten. Der Glockenturm sollte separat stehen.

Am 29. April 1955 kam vom Erzbischöflichen Ordinariat die Zustimmung zum Bau der Kirche, allerdings mit der Auflage, den Hauptaltar näher zur Chorwand zu rücken und hinter den Altar keine Stufen anzubringen. Nach langem Ringen von Pfarrer Söhner und Architekt Groh um den Standort des Altars und der Stufen, durfte die ursprüngliche Planung verwirklicht werden und das neun Jahre vor dem II. Vatikanischen Konzil, nach dessen Beschlüsse der Altar zu den Gläubigen hin orientiert und der Priester der Gemeinde zugewandt den Gottesdienst feiern sollten.

Der erste Spatenstich fand am 31. August 1955 statt. Es war der erste Neubau einer Kirche in Karlsruhe nach dem Zweiten Weltkrieg. Am 16. Dezember 1956 wurde die Kirche von Prälat Dr. Rüde benediziert und der erste Gottesdienst im neuen Gotteshaus gefeiert. Die Kirche ist dem Hl. Josef und dem Hl. Nikolaus von der Flühe geweiht. Am 6. Oktober 1957 konnte das Kirchweihfest gefeiert werden. Missionsbischof Augustin Olbert konsekrierte die Kirche.

Die Chorfenster wurden von der Karlsruher Künstlerin Clara Kreß gestaltet. Roland Peter Litzenburger aus Leimbach am Bodensee entwarf die Portale und die Kommunionbank. Benediktinerin Lioba Munz aus der Abtei Sankt Marien in Fulda schuf das Altarkreuz. Der Tabernakel wurde von Albert Kunz aus Pforzheim gemacht.

Die fünf Glocken wurden in der Glockengießerei Bachert gegossen und 1961 zur Kirche gebracht. Sie tragen die Namen Christusglocke, Josefsglocke, Marienglocke, Nikolaus-von-der-Flühe-Glocke und Karl-Borromäus-Glocke.

Der Karlsruher Künstler Emil Sutor setzte in der Kirche, mit der Darstellung des Auferstandenen, der Gottesmutter, des Kreuzwegs und mit dem Relief des Hl. Josefs mit dem Jesusknaben in der kleinen Seitenkapelle, im Jahr 1965 einen besonderen künstlerischen Akzent.