Jakov byl převezen do střežené vily v Berlíně, kde nacistický ministr propagandy Joseph Goebbels doufal, že ho využije v ruskojazyčném rozhlasovém vysílání, ale k tomu nikdy nedošlo. Stalin podnikl několik diskrétních pokusů o Džugašviliho osvobození z rukou Němců, ale každý z nich byl neúspěšný. Přibližně ve stejné době nabídl Hitler Stalinovi dohodu: Němci vymění jeho syna za polního maršála Friedricha Pauluse, který se vzdal v bitvě u Stalingradu v únoru 1943. Stalin na to odpověděl: "Neměním polní maršály za poručíky". Ve chvíli, kdy Jakov přestal být nacistům užitečný, byl poslán do koncentračního tábora Sachsenhausen.
