Nicht wenige Fuldaer Geschichten beginnen in der alten Harmonie. Einem Gasthaus mit Festsaal, welches im 19. Jahrhundert nicht nur Mittelpunkt politischer Aktivitäten war, sondern als führendes Kongresshaus auch von zahlreichen Vereinen für Veranstaltungen genutzt wurde.

1890 zog die Fuldaer Zeitung in die Harmonie, weshalb das Gebäude in der Petersstraße auch heute noch vielen Fuldaern bekannt sein dürfte. Die Harmonie war nicht nur beliebter Treffpunkt der Einheimischen, sondern auch eine Fabrik. Die Wahlersche Fabrik war eine mechanische Weberei, die überwiegend technische Textilien aus Cord und Stramin herstellte. 50 Jacquardwebstühle aus Sachsen, Webstühle der neuesten Generation, fanden auf dem Betriebsgelände, welches von Hermanns Vater Balthasar und dessen Geschäftspartner Burkhard Müller eingerichtet wurde, ihren Platz. Das Gelände des Wahlerschen Anwesens ging 1890 allerdings in die Nutzung der Fuldaer Aktiendruckerei über.

Der Verkauf der Harmonie bedeutet aber nicht das Ende des  Unternehmens von Wahler und Müller. Man fand einen neuen Standort am Sterngarten. Das rote Backsteinhaus Rabunsstraße 21 war die Villa des Fabrikdirektors Hermann Joseph und stand unmittelbar vor dem Fabrikgelände, welches 1945 einer besonderen Nutzung zugeführt wurde. Es diente als Erstaufnahmelager für Vertriebene. Alleine im Jahr 1945 erhielten dort 51.818 Personen eine Bleibe für die Nacht, 161.848 Portionen Mittag- und Abendessen wurden ausgegeben.

Hermann Joseph heiratete im Jahr 1876 Emma Müller. Mit ihr wohnte er in besagtem gebäude Rabanusstraße 21. Emma war die Tochter von Burkhard Müller und Schwester von Richard Müller, nach dem Fuldas größte Schule benannt ist. Richard Müller war Mitglied der Zentrumspartei und wurde 1894 nach Berlin in den Reichstag abgeordnet, wo er sich als führender Kopf der finanzpolitischen Entscheidungen innerhalb der Zentrumspartei etablierte.

Hermann Joseph verstarb 1906. Zusammen mit seiner Frau Emma, die erst 27 Jahre nach ihm starb, hat er am „Alten Städtischen Friedhof“ seine letzte Ruhe gefunden. Der große Grabstein weist auf sein Leben als Unternehmer hin.