Pour utilisé l'extension composite sous Xorg, il faut aussi rajouté qq options qui vont bien.
http://fr.gentoo-wiki.com/TIP_Xorg_X11_et_transparence
Mais composite sosu Xorg est a mon avis encore plus experimental que Xgl

Donc quitte a tout pété, autant le faire avec Xgl

Serieusement, tu ne risque pas de claquer ton systeme, mais simplement de ne pas avoir Xgl fonctionnant correctement (donc faudra revenir a Xorg).
Sinon, oui, composite utilise l'openGL. La particularité de Xgl, c'est que 1) il integre nativement l'extension composite et 2) il se base entieremnt sur l'openGL contrairement a Xorg. Toutefois, Xgl n'en est encore u'au stade de developpement donc il repose toujours sur Xorg pour avoir acces aux drivers graphiques/clavier/souris.
En fait, les deux (Xgl et Xorg avec composite) utilisent le même principe: recalculer chaque image envoyée à l'ecran avant de l'afficher. Ca permet d'effectuer des effets comme la transparence, les ombres etc...