Holzwurm ist ja nicht gleich Holzwurm. Was wir im allgemeinen Sprachgebrauch unter einem Holzwurm verstehen, ist die Larve eines Käfers, die sich im Holz entwickelt und von seinen Bestandteilen ernährt bzw. von pilzlichen Stoffwechselprodukten. Diese Insekten besitzen oft einen hohen Spezialisierungsgrad hinsichtlich ihrer Ernährung. Da gibt es eben auch welche, die in stark anbrüchiges Holz gehen, wie in diesem Falle. Du kannst das Holz ja mal spalten und schauen, was darin lebt. Dies führt aber sicher zum Tode der Larven. Eine Artansprache anhand der Larven bleibt dennoch schwierig.
Edit:
@fragnix, sehr guter Hinweis. Das können auch Rossameisen sein, die man allerdings auch außen am Holz sehen können sollte.