Unbehandelt wird das nicht sein - das wäre längst total fleckig, außerdem baut niemand unbehandelte Fenster ein.
Also ist es Öl, Lack oder Lasur.
Filzstifte enthalten entweder Wasser oder Alkohol als Lösungsmittel. Die üblichen Lacke, Lasuren und Öle können das ab. Sonst wäre es ja doof - Glasreiniger enthält auch Alkohol, und der kommt beim Fensterputzen ja auch auf den Rahmen. Wasser übrigens auch, da hätte man bei wirklich unbehandelten Fenstern sofort Wasserflecken.
Ich würde erstmal Wasser mit Spüli probieren, wenn es damit nicht geht, Alkohol (Spiritus). Wenn Du da Bedenken hast, vorher noch Glasreiniger mit Alkohol.
Ein Fenster, das keinen Glasreiniger aushält, kannst Du umtauschen