Je me répond à moi-même, cela pourra peut-être servir à d'autres, à Yoan de corriger s'il existe un meilleur système.
Quand on installe Thelia, la feuille de style par défaut de tinyMce est "/style_editeur.css" (lors de l'installation je ne savais pas de quoi il s'agissait). J'ai essayé de créer ce fichier (qui ne semble pas être créé par l'install ni exister par défaut dans TinyMce) et de le mettre dans le site, impossible. J'ai testé tous les niveaux de l'arborescence, les styles n'apparaissent jamais dans TinyMce.
Le nom de ce fichier est stocké dans la table "variable", "style_chem". Pris d'une inspiration, j'ai stocké le chemin complet d'accès par phpmyadmin (donc depuis http://toutlechemin/style_editeur.css) et bingo, ça marche. Les styles stockés dans cette feuille apparaissent dans les menus déroulants de TinyMce.
Mieux, on peut en fait renommer le fichier et le mettre avec ses templates, ça marche en ajustant le chemin. Aussi, ne pas oublier la déclaration de style dans le header pour que ces styles soient appliqués au résultat, le chemin ci-dessus n'étant utilisé que par TinyMce pour l'éditeur.
La seule chose que je regrette est qu'il faudra modifier manuellement cette variable dans la base si on déplace le site d'un serveur (local par ex) au serveur de production.