Die Geschichte des Gräfsblock in seiner heutigen Form begann im Jahre 1878. Zu dieser Zeit wurde der Bau der heutigen Mohrenstrasse beschlossen und durchgeführt. Im Laufe der folgenden Jahre wurden weitere bauliche Massnahmen erforderlich. Diese Massnahmen bestanden darin, einen Durchgangsverkehr zu schaen und deshalb mussten zwei Häuser diesem Projekt weichen.

Es entstand ein Durchgang von der Webergasse zur Spitalgasse 1909. Mit Beendigung dieses Vorhabens wurde erstmals der Blick auf die Grafischen Hinterhäuser frei – zu dieser Zeit noch kein besonders schöner Anblick.

Aus diesem Grunde wurde im Zuge der ersten bayerischen Altstadtsanierung 1933 beschlossen, dass zum einen ein schöneres Stadtbild entstehen soll, zum anderen aber die folgenden baulichen Massnahmen dem höheren Verkehrsaufkommen durch die Mohrenstrasse gerecht werden musste.

1934 wurden die Hinterhäuser abgerissen und in den folgenden Jahren entstand bis 1936 ein Neubau mit Durchgang zum Stein-weg, der heutige Gräfsblock.

Am 1. August 1937 fand die Einweihung zum Wohn- und Geschäftshaus statt. Damit wurde erstmals dasErdgeschoss als Ladenfläche für ein Reiseunternehmen genutzt.

1949 fand das städtische Verkehrsbüro und später das amtliche Reisebüro im Gräfsblock seine Nutzung, gefolgt von verschiedenen Gaststätten, die vor allem von amerikanischen Offizieren und Militärangehörigen besucht wurden.

Im Jahre 1957 wurde die erste „Milchbar“ eröffnet. In dieser Lokalität wurden alle Getränke ausschliesslich mit Milch verkauft. Es war schon zu dieser Zeit ein Treffpunkt junger und moderner Menschen, die sich dort trafen, um sich zu amüsieren. Im Laufe der folgenden Jahre wechselte der Besitzer und schliesslich wurde die „Milchbar“ mehr und mehr zu einer Art Speiselokal. Im Jahre 1969 stand der „Milchbar“ ein weiterer Besitzerwechsel bevor. Einige Jahre danach wurde das Speiselokalkonzept überdacht und ein Kaffeehaus sollte entstehen.

1971 wurde dann schliesslich die „Milchbar“ umgetauft in „Stadtcafé“ und wieder war ein Treffpunkt für Jung und Alt geboren, die viele Jahre das Stadtbild prägte. Schließlich wurde im Jahre 1993 ein weiterer Wechsel vorgenommen. Dieser Wechsel ging auch mit beträchtlichen baulichen Veränderungen einher. Am Gräfblock sollte etwas einzigartiges entstehen. Fast ein Jahr wurde getüftelt und gebaut und schliesslich wurde am 9. Juli 1994 das „Stadtcafé“ mit einem neuen Konzept und einem neuen Gesicht wiedereröffnet. Entstanden war ein Café, was neben Kaffee und Kuchen auch kleinere Gerichte anbot, sowie die Coburger in den Genuss des zum damaligen Zeitpunkt noch nicht bekannten Frozen-Jogurt brachte.

Im Laufe der folgenden Jahre wurde dieses Konzept mit Erfolg beibehalten.