Der „Alte Städtische Friedhof“ wurde im Jahr 1531 als neuer Friedhof vor den Toren der Stadt angelegt. Davor dienten mehrere Plätze,zum Teil um Kirchen, an Klöstern und Hospitälern, als letzte Ruhestätten der Bevölkerung. Im Jahr 1537 wurde nachfolgend auch die Kapelle vom Friedhof vor dem Kohlhäuser Tor dorthin versetzt und erst damit wurde dieser Ort als Begräbnisort von der Bevölkerung angenommen.
Zwischen 1540 und 1877 sind die meisten Bestattungen auf dem Friedhof dokumentiert. Im Jahr 1813 wurden auch außerhalb der Friedhofsmauer zahlreiche französische Soldaten, die auf dem Rückzug nach der Schlacht bei Leipzig in Fulda an Typhus verstarben, beigesetzt.
Der Name „Franzosenwäldchen“ für die nordwestlich am Friedhof vorbeiführende Straße erinnert noch heute daran.
Die Anlage wird seit Ihrer Profanierung im 20. Jahrhundert als städtische Grünfläche gepflegt und erhalten und stellt mit den vielen historischen Grabmälern ein herausragendes kulturhistorisches Zeugnis für die Fuldaer Geschichte des 18. und 19. Jahrhunderts dar.