Ich weiß nicht, ob das hier an dieser Stelle hilft, aber ich hatte das gleiche Problem mit Linux Mint 17.3, das auf Ubuntu 14.04 basiert. Dort habe ich die 3D-Darstellung von MuPAD mit einer Nivdia-Karte als Laufen gekriegt, indem ich bei der Installation des proprietären Nvidia-Treibers die empfohlenen Pakete durch Verwendung der Option
--install-recommends
mit installiert habe. (Welche Pakete das genau waren, kann ich jetzt nicht mehr nachvollziehen, also Vorsicht.)
Dazu muss ich allerdings sagen, dass sich das Ganze auf meinem Laptop abgespielt hat, der eine Hybrid-Grafikkarte hat. Ich verwende das veraltete Bumblebee, so dass ich Programme, die die Nvidia-Karte nutzen sollen, mit dem Vorsatz
optirun
starte. Über den Intel-Chip in meinem Laptop funktioniert die 3D-Darstellug von MuPAD nach wie vor nicht und bricht mit der gleichen (oder einer ähnlichen) Fehlermeldung ab.