Rolf Joseph wurde am 11. Dezember 1920 als Sohn des Textilverkäufers Hermann Joseph und seiner Frau Recha in Berlin-Kreuzberg geboren.
Seine Kindheit verbrachte er in Berlin-Wedding, wo er ab 1926 die Volksschule besuchte. Als begabter Fußballspieler war er zusammen mit seinem jüngeren Bruder Alfred bei seinen Mitschülern sehr beliebt.
Die Zeit der behüteten Kindheit endete für Rolf Joseph Anfang der 1930er Jahre, als der erste Lehrer in SA-Uniform in die Schule kam. Mit der Machtübernahme durch die Nationalsozialisten musste Rolf Joseph die Schule 1934 endgültig verlassen und begann eine Lehre als Tischler. Nachdem er zwischen 1938 und 1940 bei der IG Farben Zwangsarbeit verrichten musste, wurde ihm 1941 eine Stelle in einer Tischlerei zugewiesen. Die Meisterprüfung blieb ihm als Jude hingegen verwehrt.
Als die Eltern der Brüder im Juni 1942 von der Gestapo in das KZ Theresienstadt abtransportiert wurden und Rolf und Alfred Joseph selbst nur knapp der Deportation entkommen konnten, mussten sie sich verstecken. Die Brüder lebten einige Monate zusammen im Wald, doch dann bot ihnen die Lumpensammlerin Marie Burde, genannt „Mieze“, Unterschlupf in ihrer Wohnung an. Die Zeit des Versteckens bei Mieze endete, als Rolf Joseph eines Tages bei einer Straßenkontrolle verhaftet und nach längere Gefangenschaft auf einen Transport Richtung Auschwitz verladen wurde. Mit der Hilfe seiner Mithäftlinge gelang ihm jedoch der Sprung aus dem fahrenden Zug und die Flucht zu Fuß zurück nach Berlin.
Dies war nicht von langer Dauer: Es folgten wiederum Verhaftungen, Folter und knappes Entkommen, unter anderem durch den Sprung aus dem 2. Stock des Jüdischen Krankenhauses. Immer wieder war die Wohnung von Mieze die Anlaufstelle der Brüder, bis das Wohnhaus bei einem Bombenangriff abbrannte. In Miezes Laube in Schönow bei Bernau überlebten Rolf und Alfred Joseph bis zu ihrer Befreiung durch sowjetische Soldaten im April 1945.
Nach dem Krieg heiratete Rolf Joseph Lydia, eine deutsche Jüdin, die das KZ Ausschwitz überlebt hatte. Von seiner Familie war außer Alfred niemand am Leben geblieben. 1991 starb Lydia bei einem Autounfall.
Rolf Joseph wurde 1983 nach 28 Jahren Arbeit bei der Deutschen Waggon- und Maschinenfabrik pensioniert. Seitdem besuchte er regelmäßig Schulen und erzählte den Jugendlichen seine Überlebensgeschichte, um das Erinnern an diese Zeit aufrecht zu erhalten. 2002 wurde ihm für dieses Engagement das Bundesverdienstkreuz verliehen.
Am 28. November 2012 verstarb Rolf Joseph in Berlin-Charlottenburg.