Das wird keinen Spaß machen. Die Bohrmaschine mit Bohrfutter sind, abgesehen von der Drehzahl, auch nicht für seitliche Belastungen konstruiert. Das seitliche Spiel wird durch den großen Hebel (Fräser <=> Befestigung) zu groß zum genauen Fräsen sein.
Auch deinen Bohrständer solltest Du mal auf...