1806 tauschte die Stadt Frankenthal ein Gelände ein, das ab 1821 zum städtischen Friedhof wurde. An seiner Ostseite erstand die jüdische Gemeinde 1820 ein Feld für ihren eigenen Friedhof, später wurde noch ein weiterer schmaler Streifen Acker im Norden dazugekauft zur Vergrößerung des Friedhofs, wie sich noch heute an der Erweiterung der Einfassungsmauer feststellen lässt.

Das erste Grab ist von Sarah Heymann, gestorben 12. Dezember 1826 im Alter von 66 Jahren. Ihr Mann Abraham Heymann starb am 15. März 1850.

Die Grabsteine aus dem 20. Jahrhundert wurden mehr und mehr aus Marmor hergestellt. Fast alle sind bis heute erhalten geblieben.

Die ältesten Grabsteine aus Sandstein sind durch Witterungseinfluss teilweise völlig zerstört und die Inschriften unleserlich geworden durch Bewuchs von Efeu. Der Verfall der Sandsteingrabsteine ist nicht mehr aufzuhalten.

Der Alte Jüdische Friedhof besteht seit der NS-Zeit aus zwei unterschiedlichen Bereichen: (auf dem Foto) rechts der ursprüngliche, wenn auch mit Veränderungen erhaltene Friedhofsteil, links ein in und nach dem Zweiten Weltkrieg fast vollständig umgestalteter Teil.

Dokumente belegen das Interesse der Nazis am Verschwinden des Friedhofs.

So war seitens der Stadt 1940 geplant, den alten Judenfriedhof im Zuge von "Sanierungsmaßnahmen" zusammen mit dem städtischen christlichen Friedhof neu anzulegen und zu bepflanzen. Mit fadenscheinigen Gründen über den angeblich "vernachlässigten Friedhof, auf dem seit Jahren keine Begräbnisse mehr stattfänden", versuchten die städtischen Behörden, den Boden in ihren Besitz zu bringen und drohten der sich in Auflösung befindlichen Jüdischen Gemeinde mit "Auflassung" ihres Friedhofs. Auch sollten die "Eigentumsverhältnisse des alten Judenfriedhofs geklärt" werden, in der Weise, dass er "in das Eigentum der Stadt Frankenthal übergeht".

In einem Schreiben vom August 1940 schlägt das Stadtbauamt vor "sämtliche Grabsteine auf dem alten Judenfriedhof niederzulegen." Einige Grabsteine würden schief stehen, andere drohten umzufallen. Es bestehe eine "unmittelbare Unfallgefahr."

Aufgrund der Kriegswirren und Dank des Einspruchs des ehemaligen Frankenthaler Staatsanwalts Dr. Emil Rosenberg, der in seiner Eigenschaft als zuständiger Rechtsexperte der Bezirksstelle in Ludwigshafen für die Jüdische Gemeinde der Auflassung widersprach, konnten die Pläne der NS-Stadtverwaltung nicht verwirklicht werden.

Rosenberg antwortete in einem Brief vom selben Monat, dass die Gemeinde die Missstände sofort beheben werde und die Wiederaufrichtung der Grabsteine veranlasst habe.

Zu den Eigentumsverhältnissen gab Rosenberg an: "Wir bemerken jetzt schon, dass wir auf die Aufrechterhaltung des Eigentums an dem alten jüdischen Friedhof weniger Wert legen, als auf seine Erhaltung als Grabstätte."

Parallel zu dieser Initiative wurde der sich noch im Besitz der Jüdischen Gemeinde befindliche Friedhof in Heuchelheim, der nur noch als Ackerfläche diente, durch die Stadt Frankenthal an drei anliegende Nachbarn für 898 Reichsmark verkauft. Der Erlös wurde nach Abzug der Unkosten auf ein Sperrkonto für die Israelitische Kultusgemeinde angelegt und befand sich noch bis nach dem Kriege im Eigentum der Stadt Frankenthal.

Selbst noch im Juni 1942, fast zwei Jahre nach der Deportation der letzten Juden Frankenthals im Oktober 1940 nach Gurs, schrieb die Stadt Frankenthal an die Reichsvereinigung der Juden in Deutschland in Karlsruhe auf deren Anfrage über die "Abwicklung jüdischer Vermögenswerte", es sei beabsichtigt, "im Zuge der Friedhofssanierung, zusammen mit der Umgestaltung des allgemeinen städtischen (christlichen) Friedhofs, dieses Gelände neu anzulegen und zu bepflanzen".

Durch den weiteren Verlauf des Krieges gelang es den Nazis nicht, den Alten Jüdischen Friedhof aufzulösen. 

Im Laufe der Kriegsjahre wurden hier vermutlich seit 1943 (nichtjüdische) gestorbene oder bei Bombenangriffen umgekommene Zwangsarbeiter aus Polen, Weißrussland und der Ukraine beerdigt, darunter zwölf Kinder. Die in diesem Bereich noch bestehenden jüdischen Gräber wurden auf das linke Feld verlegt.