Zwischen 1938 und 1945 litten im Konzentrationslager Neuengamme 106.000 Menschen aus dem gesamten besetzten Europa. Sie wurden als „Feinde“ des NS-Regimes verschleppt. Etwa die Hälfte von ihnen wurde bis zur Befreiung im Jahre 1945 ermordet.
1948, nachdem die Briten, die das frühere KZ vorübergehend als Internierungslager nutzten, das Gelände geräumt hatten, richtete die Hamburger Justizbehörde dort ein Gefängnis ein. Fortan war der Ort abgeriegelt. Einzig eine abseits gelegene, unscheinbare Kalkmuschelsäule, die der Hamburger Senat 1953 auf Drängen der Überlebenden aufstellt, erinnerte daran, was sich hier zugetragen hat. Vor diesem Hintergrund entstand 1948 die Arbeitsgemeinschaft Neuengamme. Gegründet wurde sie von ehemaligen Häftlingen, die aus dem Umkreis des Hamburger »Komitees ehemaliger politischer Gefangener« kamen. Anfangs hatte die Arbeitsgemeinschaft vorrangig praktische Zwecke. Sie half durchreisenden Entlassenen aus den Konzentrationslagern, kümmerte sich um Renten- und Entschädigungsfragen oder organisierte Treffen für Hinterbliebene der Opfer. Zeitgleich sammelte sie Zeugenaussagen und Berichte über die ehemaligen Außenlager. So entstand im Verlauf der Jahre ein umfangreiches Archiv, das bis heute die Basis zur Erforschung Neuengammes darstellt. Damals jedoch diente es zunächst einmal dazu, gegenüber Staat und Firmen die Ansprüche ehemaliger Häftlinge nachzuweisen und NS-Verbrecher zu identifizieren, die untergetaucht oder unbehelligt geblieben waren. Letzteres tat bitter Not.
Allen Lippenbekenntnissen vom „Neuanfang“ zum Trotz saßen frühere Nazis längst wieder in Schlüsselpositionen der Gesellschaft – ob in Firmen, Behörden, Justiz, Polizei oder Verwaltung. Von dort sabotierten sie die Aufklärung von NS-Verbrechen und behinderten die demokratische Erneuerung. Die meisten Nachkriegsdeutschen wollten schnell vergessen. Der Kalte Krieg bot westdeutschen Politikern die Chance, sich den Siegermächten als Helfer gegen die sowjetische Bedrohung anzudienen und Fachkräfte aus der NS-Ära in den „Aufbau“ zu integrieren. Unter dem Deckmantel des Antikommunismus inszenierte Kanzler Adenauer die große Versöhnung mit den Tätern. Ehemalige Widerstandskämpfer wurden als Vaterlandsverräter, Kritiker als „Agenten Moskaus“ denunziert. Die „Vereinigung der Verfolgten des Naziregimes“ wurde als „kommunistische Tarnorganisation“ klassifiziert.
Der Hamburger Senat bildete zu den bundesdeutschen Bemühungen, die Nazivergangenheit zu verdrängen, keine Ausnahme. Bürgermeister Max Brauer unterstützte nicht nur den Bau der Justizvollzugsanstalt XII auf dem ehemaligen KZ-Gelände, sondern wollte 1951 die jährlich stattfindenden »Pèlerinagen« ehemaliger Häftlinge aus dem Ausland verbieten. Doch seine Macht reichte nicht aus, um die Erinnerung „auszulöschen“.
Mitte der fünfziger Jahre erzwangen französische Überlebende, dass sie ihrer Toten nicht mehr nur am Urnenmahnmal auf dem Friedhof Ohlsdorf, sondern in Neuengamme selbst gedenken dürfen. Gespräche mit der Arbeitsgemeinschaft allerdings lehnte der Hamburger Senat weiterhin kategorisch ab.
1958 dann schlossen sich auf Initiative der Arbeitsgemeinschaft hin die westeuropäischen Häftlingsverbände zur »Amicale Internationale de Neuengamme« zusammen, um fortan gemeinsam von der Bundesregierung und dem Hamburger Senat einen würdigen Umgang mit dem Andenken der in Neuengamme Ermordeten und ihrem politischen Erbe einzufordern. Doch bereits seit 1948 nutzte die Hanseatische Justizbehörde den Kernbereich des früheren Stammlagers Neuengamme als Haftanstalt. Mit deutschen Vertretern ehemaliger Häftlinge über die Schaffung einer Gedenkstätte zu reden, lehnte der Hamburger Senat ab. Erst durch die Mobilisierung der Amicale Internationale KZ Neuengamme und massiven internationalen Druck kam es zu Gesprächen.
1965 richtete der Senat das heutige Mahnmal ein, die Amicale Internationale KZ Neuengamme finanzierte die Skulptur des sterbenden Häftlings. Doch es dauerte weitere sechzehn Jahre, bis das seit langem geforderte Dokumentenhaus in unmittelbarer Nähe des Mahnmals eröffnet wurde. Es erwies sich bald als zu klein, um seiner Aufgabe als Gedenk- und Forschungsstätte gerecht zu werden.
Immer wieder protestierten die Häftlingsverbände gegen die Nutzung des ehemaligen Lagers als Gefängnis und forderten seine Verlegung. Der Ort, an dem zahllose ihrer Kameraden hingerichtet worden sind, sei kein Platz, um „humanen Strafvollzug auszuüben“, sondern ein Friedhof. Statt jedoch die Vollzugsanstalt zu schließen, errichtete der Senat 1970 eine weitere Anstalt auf dem Boden der ehemaligen Tongruben, in unmittelbarer Nähe des Klinkerwerks.
Endlich, im Jahr 1989, erklärte der damalige Erste Bürgermeister Dr. Henning Voscherau erstmals, dass der Senat zu einer Verlegung der Gefängnisse grundsätzlich bereit sei.
Am 30. Juni 2003, achtundfünfzig Jahre nach der Befreiung, wurde die JVA XII geräumt. Damit standen nun die noch erhaltenen Gebäude des Lagers der Gedenkstätte zur Verfügung.