Den svenske landslagsmittbacken Joakim Nilsson får i stället Marco Kostmann som huvudtränare.
"Frank Kramer hölls oss kvar i ligan i fjol. Efter en ojämn start kom vi ur krisen tillsammans", säger sportchefen Samir Arabi till klubbens webbplats.
"Men efter en detaljerad analys av situationen är vi inte övertygade om att vi kan göra det igen."
Även assisterande Iliya Gruev får lämna klubben. Han ersätts med Michael Henke .
Arminia Bielefeld ligger näst sist i Bundesliga – två poäng upp till kvalplats och ytterligare en till säker mark – med fyra omgångar kvar av ligasäsongen.