Nach dem 30. Januar 1933, der Machtübernahme durch die Nationalsozialisten, wurde die Geschäftslage für Carl und Therese Schweitzer noch viel dramatischer als in den Jahren der Inflation.

Die Nationalsozialistische Stadtverwaltung wollte das von der Katholikin Therese Schweitzer geführte Geschäft als jüdisch einstufen. Der Brief vom 24. September 1938 von Oberbürgermeister Scholl an den Regierungspräsident in Speyer wird in der Akte Schweitzer im Laufe der Jahre mehrmals zitiert – letztmals 1959: "Es handelt sich um ein altes jüdisches Geschäft, dessen Inhaber der jüdische Kaufmann Karl Schweitzer war. Laut Eintragung im Gewerberegister vom 12.9.1932 wurde die gewerbepolizeiliche Umschreibung auf den Namen der nichtjüdischen Ehefrau, Therese Schweitzer geb. Paul, vorgenommen, welche das Geschäft in beschränktem Umfange weiter führt und Stoffe und Konfektionswaren nur noch in ihrer Wohnung verkauft.

Der Ehemann Karl Schweitzer ist noch als Handelsvertreter gewerbepolizeilich gemeldet. Frau Schweitzer erklärte auf Vorladung, daß sich die Vertretertätigkeit ihres Mannes nicht auf ihren Gewerbebetrieb erstreckt. Aber trotzdem ist anzunehmen, daß der Ehemann Karl Schweitzer auf den Betrieb seiner Ehefrau beherrschenden Einfluß ausübt.

Ich bitte zu entscheiden ob der Betrieb als jüdischer Gewerbebetrieb im Sinne des § 3 der 3. Verordnung zum RBG vom 14.6.1938 zu gelten hat und somit in das Verzeichnis für jüdische Gewerbebetriebe einzutragen ist."

Der letzte Einspruch von Therese an den Reichswirtschaftsminister wurde am 29. Juni 1939 abgewiesen und das Geschäft als jüdischer Betrieb eingestuft. Bereits neun Monate vorher hatten SA-Männer, bei dem Pogrom am 10. November 1938, auch in der Wohnung des Ehepaares Schweitzer gewütet und alles kurz und klein geschlagen.

Katharina Huber, die Ehefrau des Hausmeisters, deren Wohnung im dritten Stock lag, berichtete: "Ich wohnte 25 Jahre lang in dem Anwesen Schweitzer (…) Als ich an dem fraglichen Tag im November 1938 mich, wie üblich, (…) in die Wohnung der Eheleute Schweitzer begab, teilte mir (Frau Schweitzer) mit, daß ihr Mann morgens (…) verhaftet worden sei (…) Während wir uns so über das Vorgefallene unterhielten, stürmte eine Horde von mindestens 14 Mann die Treppe herauf (…) Die Horde drang bei ihrem Eintreffen sofort in das Wohnzimmer und schloß die Türe hinter sich ab. Man hörte sofort das Einsetzen der üblichen Zertrümmerungen. Nach einer Weile öffnete (einer) die Tür und reichte mir einen Vogelkäfig mit einem Kanarienvogel heraus mit der spöttischen Aufforderung, dem Tier das Leben zu retten. Die Bande schloß auch die Küchentür wie alle anderen Zimmertüren ab, während wir selbst uns auf dem Flur aufhalten mußten. Nach einer Weile kam ein uniformierter SA-Mann und ließ die Aktion abbrechen. Daraufhin verließ die Bande das Haus. Ich sah mich jetzt in der Wohnung Schweitzer um. Die gesamte Wohnungseinrichtung war zertrümmert (…) Die Verwüstungen waren unbeschreiblich (…) den damals ankommenden Eindringlingen rief ich noch zu, sie sollten von ihrem Vorhaben abstehen, da es sich bei der Ehefrau Schweitzer doch um eine Christin handele."

Hans Schweitzer, der Sohn von Carl und Theresa, damals gerade 10 alt Jahre alt: "Ich hatte ein Spielzimmer mit all den Sachen, die ein Junge so zum Spiele hat: eine Burg, eine von meinem Vater selbst gefertigte Nachbildung des neuen Stuttgarter Bahnhofs (…) für meine Märklin-Eisenbahn, einen Kaufladen, eine Tankstelle, französische und deutsche Soldaten (die sich bekämpften), Ludendorff, Hindenburg (mein Vater muss wohl Patriot gewesen sein). Nichts von allem blieb übrig."

Wie fast alle jüdischen Männer wurde Carl am 10. November 1938 verhaftetet. Sohn Hans und seine Frau Therese verwiesen die Nazis sofort der total demolierten Wohnung. Beide fanden Unterschlupf bei Thereses Eltern – dem Kunstmaler Heinrich Paul und Anna, geborene Schuhmacher – in Mannheim.

Am 19. November 1938 schrieb Therese Schweitzer an Oberbürgermeister Scholl:

"Bezugnehmend auf die Unterredung mit Herrn Unkrich im hiesigen Stadthaus beträgt der Schaden, welcher uns am 10. November 1938 zugefügt wurde ca. RM 2.500,--.

Da die Demolierung, trotz heftigen Protestes an meinem Eigentum, das ich in die Ehe einbrachte, geschah, wollen Sie meinem Ersuchen um Vergütung obigen Betrages baldigst stattgeben. Ich bitte dabei zu berücksichtigen, dass ich selbst Arierin bin und mein Kind der christlichen Confession angehört.

Auf Wunsch bin ich gerne bereit eine Spezification der Gesamtsumme anzugeben bzw. vorzulegen ..."

Im Dezember 1938 ließ man Carl aus dem KZ Dachau frei. Er lebte daraufhin ebenfalls bei den Schwiegereltern. Am 3. März 1939 verkauften die Geschwister Schweitzer das Haus Bahnhofstraße 1 für 76.500 RM an den bisherigen Mieter Walter Bremer, Besitzer der Bayerischen Schokoladenhaus GmbH, Würzburg. Dieser war vor dem Kauf in regem Briefaustausch mit der NS-Stadtverwaltung. Er bemerkte in seinem Brief vom 3. Dezember 1938: "Wir betonen noch, dass der alleinige Inhaber unserer Firma der Kaufmann Hermann Bremer ist, derselbe ist arisch und Parteigenosse".

Mit der Verkaufsabwicklung hatten die Geschwister Schweitzer ihre Schwester Anna betraut. Diese wohnte noch, zusammen mit der jüngsten Schwester Sofie, im Haus. Mit dem Erlös ihres Anteils konnte Carls jüngere Schwester Anna Schweitzer nach New York emigrieren. Aber auch für die anderen Geschwister, die ebenfalls emigrieren mussten, war dieses Geld hilfreich. Carl, bei seinen Geschwistern verschuldet, wurde folglich an den Verkaufseinnahmen nicht beteiligt. Mit einer katholischen „Arierin“ verheiratet stand er bedingt unter dem Schutz einer „nichtprivilegierte Mischehe“ und blieb in Mannheim.

Hans Schweitzer der Sohn von Carl und Therese war als Sohn einer Katholikin nach jüdischem Gesetz kein Jude. Aufgrund der "Nürnberger Rassegesetze" galt er als "Halbjude". Er besuchte bis zur Pogromnacht am 9./10. November 1938 in Frankenthal die Grundschule. Vertrieben aus dem eigenen Frankenthaler Haus flüchteten er und seine Mutter zu den Großeltern nach Mannheim. In Mannheim besuchte er, „auf Grund der Nürnberger Gesetze, die "Halbariern" den Eintritt in höhere Bildungstätten untersagten, die Mittelschule. Dennoch konnte ich nach zwei Jahren am Englischen Institut Heidelberg die Staatliche Übersetzerprüfung Deutsch/Englisch mit "gut" bestehen.“ Schrieb er uns am 31. Januar 2013.

Außerdem wurde er zur Arbeit bei der Organisation Todt – zum Bau des Westwalls – zwangsverpflichtet.

Nach der Bombardierung der Stadt am 23. September 1943 blieb vom Gebäude des ehemals größten Kaufhauses der Pfalz nur ein Schuttberg übrig. Nach dem Krieg stellten Carl Schweitzer und seine Erben mehrere Anträge auf Wiedergutmachung. Diese wurden alle abgelehnt. Am 1. Oktober 1946 verstarb Carl Schweitzer in Mannheim wahrscheinlich an den Spätfolgen seiner KZ-Haft.

Das Ehepaar Bremer stand noch bis 1948 in Kontakt mit der Stadtverwaltung und der Stadtsparkasse Frankenthal. Am 22. November 1948 schrieb Martha Bremer an die Stadtsparkasse: "Nachdem mehrere unserer eigenen Häuser total ausgebombt sind, bin ich mir noch nicht ganz klar, ob ich das Haus in Frankenthal selbst wieder aufbaue. Eines steht jedoch fest, dass ich in dem Haus wieder einen Laden... eröffnen möchte. Dies könnte aber auch mit dem evtl. Erwerber des Grundstückes ... abgesprochen werden."

Die Stadtsparkasse antwortete am 26. November 1948: "Wir danken bestens für die Mitteilung.... Aus den kurzen Besprechungen konnten wir allerdings den Eindruck gewinnen, als ob die Interessenten mit ernsten Kaufabsichten noch etwas zurückhalten und zuwarten möchten, bis die Restitutionsangelegenheit zwischen den anspruchsberechtigten Erben Schweitzer und Ihnen, als der derzeitigen Besitzerin, abgeschlossen ist. Ohne diese Klärung scheint ja eine Veräusserung durch Sie nicht gut möglich zu sein."