V Buchenwaldu byl Sommer spoluodpovědný za zvěrstva, která páchala Ilse Koch – nacistická dozorkyně a manželka velitele tábora Karla Otto Kocha. Byla to sexuální deviantka, která se ráda procházela po táboře polonahá nebo vyzývavě oblečená a provokovala vězně, aby se na ni podívali. Když to udělali, řekla to Sommerovi a ten tyto vězně mučil, bil a zabíjel. Sommer sám byl také sexuální deviant a účastnil se sexuálních orgií, které v Buchenwaldu organizovala Ilse Koch spolu s dalšími příslušníky SS, kteří v táboře sloužili. Někdy se jich účastnily i jejich manželky.
