FORMES BILINÉAIRES INVARIANTES

YVES DE CORNULIER

1. Formes bilinéaires invariantes

1.1. Généralités. Soit K un corps (la plupart du temps, on fixera K = R). Soit G un groupe et V = (V, ρ) une représentation de G dans un K-espace vectoriel de dimension finie. On cherche à décrire l’espace vectoriel Bil_{G}(V) des formes K-bilinéaires invariantes par G sur V:

Bil_{G}(V) = {b : V × V → R, R-bilinéaire, ∀x, y ∈ V ∀g ∈ G, b(gx, gy) = b(x, y)}.

On peut déjà commencer par un résultat simple:

Proposition 1.1. Supposons que car(K) ≠ 2. Alors

Bil_{G}(V) = Sym_{G}(V) ⊕ Alt_{G}(V),

où Sym_{G}(V) est l’ensemble des formes bilinéaires symétriques invariantes, et Alt_{G}(V) est l’ensemble des formes bilinéaires alternées invariantes.

Preuve: Exercice. ■

Définition 1.2. On définit l’ensemble des G-endomorphismes de V comme suit:

End_{G}(V) = {α : V → V K-linéaire, ∀g ∈ G, α ∘ ρ(g) = ρ(g) ∘ α}.

Autrement dit, End_{G}(V) est le commutant de ρ(G) dans End(V); noter que c’est une sousalgèbre (unitaire) de End(V).

Soit B ∈ Bil_{G}(V). Si α ∈ End_{G}(V), on définit la forme bilinéaire B_{α} : (x, y) ↦ B(α(x), y). Remarquons que B_{α} appartient à Bil_{G}(V).

L’intérêt d’avoir introduit End_{G}(V) réside dans la proposition suivante:

Proposition 1.3. On suppose B non dégénérée. Alors l’application β qui à α associe B_{α} est un isomorphisme K-linéaire de End_{G}(V) sur Bil_{G}(V).

Remarquons que cet isomorphisme dépend du choix de B. Prenons garde que le résultat que End_{G}(V) et Bil_{G}(V) sont isomorphes, i.e. ont même dimension, n’est obtenu que sous l’hypothèse de l’existence d’une forme bilinéaire non dégénérée invariante. En effet, il se peut très bien que Bil_{G}(V) soit nul, tandis que End_{G}(V) contient toujours les scalaires.

Preuve de la proposition 1.3. Soit u_{B} le morphisme de V vers V^{∗}, défini par u_{B}(x)(y) = B(x, y). Comme B est non dégénérée, u_{B} est bijectif, donc est un isomorphisme car V est de dimension finie. Soit B′ une forme bilinéaire invariante, et u_{B′} défini de la même façon. On associe à B′ l’endomorphisme γ(B′) = u_{B}^{−1} ∘ u_{B′} de V. On remarque que γ est l’inverse de β: en effet, on commence par observer que pour tout α ∈ End_{G}(V) et x ∈ V, u_{β(α)}(x) = u_{B}(α(x)), et on obtient ainsi que γ ∘ β = Id. Il suffit alors de noter l’injectivité de γ, découlant immédiatement de l’observation que u_{B′} = 0 si et seulement si B′ = 0. ■

Proposition 1.4. Supposons que G agit irréductiblement sur V. Alors tout élément non nul de Bil_{G}(V) est une forme bilinéaire non dégénérée. En particulier, si Bil_{G}(V) est non nul, alors il est isomorphe à End_{G}(V).

Preuve: Pour la première assertion, il suffit de remarquer que le noyau d’une forme bilinéaire invariante est toujours stable par G. La seconde assertion découle de la première et de la proposition 1.3.

Proposition 1.5. Supposons que G agit irréductiblement sur V. Alors End_{G}(V) est un corps gauche (i.e. non nécessairement commutatif).

Date: 9 août 2004.

Preuve: Soit α ∈ End_{G}(V). Si α est non nul, alors Ker(α) est un sous-espace G-invariant de V, et Ker(α) ≠ V. Donc Ker(α) est nul, i.e. α est injectif, donc bijectif car V est de dimension finie. Clairement, son inverse est aussi dans End_{G}(V). ■

On est en mesure de classifier toutes les possibilités dans le cas d’un corps algébriquement clos.

Théoreme 1.6. Supposons que K algébriquement clos, et que G agit irréductiblement sur V. Alors Bil_{G}(V) est de dimension au plus un, i.e., s’il est non nul, toutes les formes bilinéaires invariantes sont multiples d’une forme bilinéaire non dégénérée donnée. De plus, si car(K) ≠ 2, ces formes sont soit symétriques, soit symplectiques (= alternées non dégénérées).

Preuve: La chose à noter est qu’un corps gauche de dimension finie sur K est forcément égal à K: en effet, soit x un élément, et λ ∈ K une valeur propre de l’opérateur de multiplication par x. Alors x − λ est diviseur de zéro, donc nul, i.e. x ∈ K. ■

Le théorème 1.6 dit que si K est un corps algébriquement clos de caractéristique différente de 2, et si G agit irréductiblement sur V, il y a trois réponses possibles à la question de décrire Bil_{G}(V): soit il n’y a pas de formes bilinéaires invariantes, soit toutes les formes bilinéaires invariantes sont multiples d’une forme bilinéaire symétrique non dégénérée donnée, soit toutes les formes bilinéaires invariantes sont multiples d’une forme symplectique donnée (forcément en dimension paire).

Pour un corps non algébriquement clos, l’étude des cas possibles pour Bil_{G}(V) dépend de plusieurs choses: la classification des corps gauches de dimension finie sur K, l’étude des formes bilinéaires symétriques sur K en particulier.

1.2. Corps gauches sur R.

Théoreme 1.7 (Frobenius, 1877). Soit F un corps gauche de dimension finie sur R. Alors F est isomorphe à R, C, ou H.

Preuve: Soit u : F → End_{R}(F) défini par u(x)(y) = xy. Notons, pour x ∈ F, t(x) = T r(u(x)) et d(x) = det(u(x)). Remarquons que t est une forme linéaire, dont le noyau I est un supplémentaire de R (où l’on identifie R à R1_{F}). Les éléments de I seront appelés imaginaires purs. Pour tous x, y ∈ F, décomposons xy suivant la décomposition F = R ⊕ I: xy = ⟨x, y⟩ + x ∧ y.

Lemme 1.8. 1) Pour tout x ∈ I, x^{2} est un réel négatif.

2) L’application bilinéaire (x, y) ↦ x ∧ y est alternée sur I × I.

3) La forme bilinéaire (x, y) ↦ ⟨x, y⟩ est un produit scalaire sur F × F.

4) Pour tous x, y, z ∈ I, on a ⟨x ∧ y, z⟩ = ⟨x, y ∧ z⟩.

Preuve du lemme. 1) Soit x ∈ I non nul. Comme x n’est pas scalaire, le polynôme minimal P de u(x) est de degré au moins deux. Comme par ailleurs F est un corps gauche, P est irréductible sur R. Il est donc de degré deux. Puisque t(x) = 0, ce polynôme est de la forme X^{2} +a avec a > 0, et donc x^{2} = −a. 2) En particulier, x ∧ x = 0, ce qui prouve la deuxième assertion du lemme.

3) Observons que ⟨·, ·⟩ est proportionnel à la forme bilinéaire symétrique (x, y) ↦ T r(u(xy)). Il est défini car si ⟨x, x⟩ = 0, comme on a aussi x ∧ x = 0, on obtient x^{2} = 0 et donc x = 0. Comme cette forme est positive sur R, elle est donc définie positive.

4) Il suffit d’écrire (xy)z = x(yz) et d’en sortir les parties réelles.

Poursuivons la preuve du théorème de Frobenius. Si F = R, c’est terminé. Sinon, il existe un élément i non nul dans I; quitte à multiplier par un scalaire, i^{2} = −1. Observons que R ⊕ iR est un sous-corps isomorphe à C. Si dim(F) = 2, c’est donc terminé; supposons donc dim(F) ≥ 3. Soit j un élément de i orthogonal à i; on peut supposer que j^{2} = −1. Soit k = ij.

Lemme 1.9. La famille (1, i, j, k) est libre, et l’espace vectoriel W qu’elle engendre est isomorphe aux quaternions: k^{2} = −1, ij = −ji = k, jk = −kj = i, ki = −ik = j.

Comme k = i ∧ j, k ∈ I. Il suffit de voir que (i, j, k) est orthonormale. Mais ⟨i, k⟩ = ⟨i, i ∧ j⟩⟩ = ⟨i ∧ i, j⟩⟩ = 0, et de même ⟨j, k⟩ = 0. On sait que k^{2} = −a pour un a > 0; le fait que d(k) = d(ij) = d(i)d(j) = 1 assure que a = 1. Ensuite, à partie de la relation ij = k, on obtient ij^{2} = kj, soit kj = −i, et de même ik = −j. Les trois autres relations résultent du fait que · ∧ · est antisymétrique. Le lemme est prouvé.

Pour terminer la preuve du théorème de Frobenius, il suffit de montrer que W = F. Soit x un élément de I orthogonal à i, j, et k. Alors ix = −xi et ij = −ji, si bien que i commute à jx, i.e. i ∧ (jx) = 0. Or, ⟨i, jx⟩ = ⟨i, j ∧ x⟩ = ⟨i ∧ j, x⟩ = 0. On obtient alors ijx = 0, et donc x = 0. Cela achève la preuve. ■

1.3. Description des formes bilinéaires invariantes pour une représentation irréductible réelle. . Dans toute ce paragraphe, K = R et V est une représentation irréductible.

Combiné avec la proposition 1.5, le théorème de Frobenius dit qu’on a trois types à distinguer, en fonction de la nature de End_{G}(V): type réel, complexe, et quaternionique.

Il reste à envisager chaque cas afin de décrire précisément la nature des formes bilinéaires invariantes. On suppose désormais que Bil_{G}(V) est non nul, donc donc linéairement isomorphe à End_{G}(V).

• Type réel: toutes les formes sont multiples d’une forme donnée, qui est soit symplectique (en dimension paire), soit symétrique de signature (p, q), où on peut supposer p ≥ q.

• Type complexe: Bil_{G}(V) est alors de dimension 2, si bien que (dim(Sym_{G}(V)), dim(Alt_{G}(V))) ∈ {(2, 0), (1, 1), (0, 2)}, ce qui fait trois cas à étudier.

∘ Cas où dim(Sym_{G}(V)) = 2: on fixe une forme bilinéaire invariante non nulle B. Soit J ∈ End_{G}(V) avec J^{2} = −1. On définit une structure de C-espace vectoriel sur V par (a + ib).v = av + bJv. On vérifié immédiatement que G agit de façon C-linéaire. Définissons l’application bilinéaire suivante sur V à valeurs dans C: φ(x, y) = B(x, y) − iB(x, Jy).

Lemme 1.10. L’application φ est une forme C-bilinéaire symétrique et G-invariante.

Preuve du lemme. Par hypothèse, comme (x, y) ↦ B(x, Jy) est G-invariante, elle est symétrique. On remarque que c’est équivalent à dire que J est un opérateur auto-adjoint pour B. Ceci permet de prouver toutes les assertions du lemme.

Ainsi, dans le cas où dim(Sym_{G}(V)) = 2 et dim(Alt_{G}(V)) = 0, on voit que V possède une structure complexe et que G y préserve une forme bilinéaire complexe. On récupère des formes bilinéaires invariantes réelles en prenant parties réelles et imaginaires de cette forme complexe; on remarque que ce sont des formes de signature (m, m), où dim(V) = 2m.

∘ Cas où dim(Sym_{G}(V)) = dim(Alt_{G}(V)) = 1. On fixe à nouveau une forme bilinéaire symétrique non nulle B, et une forme symplectique invariante A. On écrit A(x, y) = B(J(x), y) pour un J ∈ End_{G}(V). Remarquons que J doit être anti-auto-adjoint pour B. Ainsi, J^{2} est auto-adjoint et donc B_{J^{2}} est symétrique. Comme dim(Sym_{G}(V)) = 1, cela implique que J^{2} est un scalaire. Comme le polynôme minimal de J n’est pas de degré 1, ce scalaire est forcément strictement négatif: ainsi, quitte à multiplier A par un scalaire, on peut supposer que J^{2} = −1.

Comme dans le cas précédent, J permet de munir V d’une structure complexe de telle façon que G agisse C-linéairement. On définit alors l’application R-bilinéaire H(x, y) = B(x, y) − iB(x, Jy). On remarque cette fois que cette forme est C-linéaire à droite et hermitienne; notons (p, q) sa signature.

Ainsi, dans le cas où dim(Sym_{G}(V)) = dim(Alt_{G}(V)) = 1, on voit que V possède une structure complexe et que G y préserve une forme hermitienne. On récupère des formes bilinéaires symétriques de signature (2p,2q) (resp. des formes symplectiques) invariantes réelles en prenant parties réelles (resp. imaginaires) de cette forme hermitienne.

∘ Cas où dim(Alt_{G}(V)) = 2. L’étude est analogue au cas où dim(Sym_{G}(V)) = 2; on obtient que V possède une structure complexe et que G y préserve une forme symplectique complexe (et donc V est de dimension réelle multiple de 4). On récupère des formes bilinéaires invariantes réelles en prenant parties réelles et imaginaires de cette forme complexe.

• Type quaternionique. Fixons une forme bilinéaire invariante non nulle, symétrique ou alternée. Remarquons que l’adjonction (relative à B) définit une anti-involution (ou: “anti-morphisme involutif”) de End_{G}(V) ≃ H, i.e. une application R-linéaire σ : H → H satisfaisant à σ(1) = 1, σ^{2} = 1 et σ(ab) = σ(b)σ(a) pour tous a, b.

Proposition 1.11. Les anti-involutions de H sont La conjugaison a + bi + cj + dk ↦ a − bi − cj − dk Les “réversions”: une reflexion orthogonale sur un plan contenant l’axe réel.

Preuve: Une anti-involution doit préserver l’ensemble des racines carrées de −1, donc préserve le sous-espace vectoriel qu’elles engendrent, qui est l’ensemble des quaternions imaginaires purs. Soit σ une anti-involution. Remarquons que l’identité n’est pas une anti-involution (car H n’est pas commutatif); il existe donc x quaternion imaginaire pur non nul tel que σ(x) = −x. Quitte à conjuguer et multiplier par un scalaire non nul, on peut supposer que x = j. On voit que le sous-espace {y, jy + yj = 0} est préservé par σ, or il est égal au sous-espace W engendré par i et k. On a alors trois cas.

Soit σ|_{W} = −id_{W}. Alors σ est la conjugaison.

Soit σ|_{W} = id_{W}. Alors σ est le réversion sur j.

On vérifie que ces deux cas sont bien des anti-involutions. Il reste à éliminer le cas où σ|_{W} est une reflexion. Quitte à conjuguer, cela se ramène à vérifier que a + bi + cj + dk ↦ a + bi − cj − dk n’est pas un anti-morphisme: en effet, c’est la conjugaison par i et est un morphisme. ■

En particulier, on en déduit que (dim(Sym_{G}(V)), dim(Alt_{G}(V))) ∈ {(3, 1), (1, 3)}, ce qui a le bon goût d’écarter trois possibilités sur cinq.

Maintenant, pour pouvoir effectuer une démarche analgue à celle qu’on a eue dans le cas complexe, il faut quelques rappels sur les formes bilinéaires sur les espaces vectoriels quaternioniques.

Soit W un espace vectoriel à droite sur les quaternions, et soit σ une anti-involution de H. Une forme R-bilinéaire B : W × W → H est dite σ-hermitienne si elle satisfait aux égalités suivantes:

B(x, ya) = B(x, y)a ∀x, y ∈ W, ∀a ∈ H ; B(y, x) = σ(B(x, y)) ∀x, y ∈ W.

Remarquons en particulier la relation B(xa, yb) = σ(a)B(x, y)b pour tous x, y ∈ W, a, b ∈ H. Quand σ est la conjugaison, on dira simplement “hermitienne” au lien de “σ-hermitienne”.

Revenons à notre représentation réelle irréductible V de G avec End_{G}(V) isomorphe à H. Fixons une identification de End_{G}(V) et H de telle façon que si l’adjonction σ est une réversion, alors σ(j) = −j.

Fixons une structure de H-espace vectoriel à droite sur V invariante par G (i.e. vérifiant (gx)z = g(xz) pour tous g ∈ G, x ∈ V, z ∈ H, en posant xz = σ(z)x.

On fixe alors une forme bilinéaire symétrique non nulle B dans Bil_{G}(V), et on pose φ(x, y) = B(x, y) − B(x, yi)i − B(x, yj)j − B(x, yk)k. On vérifie que B est bien σ-hermitienne: montrons par exemple:

φ(x, yi) = B(x, yi) − B(x, yi^{2})i − B(x, yij)j − B(x, yik)k
= B(x, yi) + B(x, y)i − B(x, yk)j + B(x, yj)k = B(x, y)i,

et

φ(y, x) = B(x, y) − B(xi, y)i − B(xj, y)j − B(xk, y)k
= B(x, y) − B(xi, y)i − B(xj, y)j − B(xk, y)k
= B(x, y) − B(σ(i)x, y)i − B(σ(j)x, y)j − B(σ(k)x, y)k
= B(x, y) − B(x, iy)i − B(x, jy)j − B(x, ky)k (car σ est l’adjonction)
= B(x, y) − B(x, yσ(i))i − B(x, yσ(j))j − B(x, yσ(k))k

On remarque, en discutant si σ(i) = i ou −i, que B(x, yσ(i))i = B(x, yi)σ(i), et de même pour j et k. Ainsi, on obtient

φ(y, x) = B(x, y) − B(x, yi)σ(i) − B(x, yj)σ(j) − B(x, yk)σ(k) = σ(B(x, y)).

On sait maintenant que G préserve une structure quaternionique à droite, et une forme σhermitienne sur V; où σ est soit la conjugaison, soit une réversion, que l’on peut choisir telle que σ(j) = −j.

Il reste à classifier les formes σ-hermitiennes.

Lemme 1.12. Soit ϕ une forme σ-hermitienne sur un espace vectoriel quaternionique à droite. Si ϕ(x, x) = 0 pour tout x, alors ϕ est nulle. En particulier, il existe une base orthogonale pour ϕ.

Preuve: Cela implique σ(x, y) + σ(y, x) = 0 pour tous x, y. Par conséquent, (id + σ)(ϕ(x, y)) = 0 pour tous x, y. Comme σ n’est pas égal à −id, ϕ n’est pas surjective. Or, ϕ étant H-linéaire à droite; elle est donc nulle.

L’existence d’une base orthogonale se prouve par récurrence sur la dimension. Le cas de la dimension 0 est trivial. En dimension n: si ϕ est nulle, il n’y a rien à démontrer; sinon, par le premier résultat du lemme, il existe x tel que ϕ(x, x) est non nul; on prend x et on sait que son orthogonal possède une base orthogonale par hypothèse de récurrence. ■

On a donc une base orthogonale: (e_{i}) avec ϕ(e_{i}, e_{i}) = λ_{i}, où λ_{i} est un point fixe de σ. Si on multiplie e_{i} par un scalaire, t, on a ϕ(te_{i}, te_{i}) = σ(t)λt.

Cas où σ est une réversion: on a besoin du lemme suivant.

Lemme 1.13. Soit λ un point fixe de σ. Alors il existe une racine carrée de λ_{i} fixée par σ.

Preuve du lemme: le résultat est clair si λ est réel; si λ n’est pas réel, il suffit de remarquer que l’espace vectoriel engendré par λ et 1 est un sous-corps isomorphe au corps des complexes.

Pour tout i tel que λ_{i} ≠ 0, on écrit alors λ_{i}^{2} = μ_{i}^{2} où σ(μ_{i}) = μ_{i}. Alors, si t_{i} = μ_{i}^{−1}, on a ϕ(t_{i}e_{i}, t_{i}e_{i}) = 1.

On en déduit

Proposition 1.14. Si σ est une réversion, et si ϕ est une forme σ-hermitienne quaternionique non dégénérée, alors il existe une base orthonormale pour ϕ.

On constate donc que l’ensemble des formes bilinéaires invariantes est formé d’un sous-espace de dimension 1 constitué de formes alternées, et d’un sous-espace de dimension 3 dont les éléments non nuls ont pour signature (2m, 2m), où dim(V) = 4m.

Notons qu’on doit avoir m ≥ 2. En effet, en dimension 1, les un morphisme préservant la forme (x, y) ↦ σ(x)y doit être une multiplication à gauche t ↦ zt (car il commutent aux multiplications à droite), et doivent alors satisfaire à σ(z)z = 1, i.e. z = a + bj avec a^{2} + b^{2} = 1. Ce groupe n’agit pas irréductiblement sur H.

Cas où σ est la conjugaison: cette fois les λ_{i} sont réels. En multipliant les e_{i} par des scalaires, on peut se supposer que ces réels sont parmi 1, 0, et −1. Il reste à justifier que la signature (p, q) apparaissant (p le nombre de 1, q le nombre de −1) est bien indépendant du choix d’une base, mais c’est bien le cas: en effet, la partie réelle de la forme hermitienne a pour signature (4p, 4q).

Proposition 1.15. Si ϕ est une forme hermitienne quaternionique non dégénérée, alors il existe une base orthogonale pour ϕ (e_{i}), avec ϕ(e_{i}, e_{i}) ∈ {±1}, et la signature (p, q) correspondante ne dépend pas du choix de la base.

L’ensemble des formes bilinéaires invariantes est formé d’un sous-espace de dimension 3 constitué de formes alternées, et d’un sous-espace de dimension 3 dont les éléments non nuls ont pour signature (2m, 2m), où dim(V) = 4m.

On peut enfin énoncer un résultat général, résumant le travail effectué:

Théoreme 1.16. Soit G un groupe agissant irréductiblement sur un espace vectoriel réel V de dimension n, soit d_{s} (resp. d_{a}) la dimension de Sym_{G}(V) (resp. de Alt_{G}(V)). Alors on a une et une seule des possibilités suivantes

• (0) d_{s} = d_{a} = 0 (n ≥ 1).

• (1) d_{s} = 1, d_{a} = 0; Sym_{G}(V) est engendré par une forme bilinéaire de signature (p, q) (n ≥ 1, p + q = n, p ≥ q).

• (2) d_{s} = 0, d_{a} = 1 (n ≥ 2 pair).

• (3) d_{s} = 2; G préserve une structure complexe, et les éléments de Sym_{G}(V) sont les projections réelles d’une forme C-bilinéaire symétrique préservée par G; ce sont des formes bilinéaires symétriques de signature (m, m) (n ≥ 2 pair, n = 2m).

• (4) d_{s} = d_{a} = 1; G préserve une structure complexe, et les éléments de Sym_{G}(V) (resp. de Alt_{G}(V)) sont les multiples scalaires de la partie réelle d’une forme hermitienne de signature (p, q) préservée par G (n ≥ 2 pair, 2(p + q) = n). En particulier, Sym_{G}(V) est engendré par une forme bilinéaire symétrique de signature (2p, 2q).

• (5) d_{s} = 0, d_{a} = 2; G préserve une structure complexe, et les éléments de Alt_{G}(V) sont les projections réelles d’une forme C-bilinéaire symplectique préservée par G (n ≥ 4 multiple de 4).

• (6) d_{s} = 3, d_{a} = 1; G préserve une structure quaternionique, et les éléments de Bil_{G}(V) sont les projections réelles d’une forme σ-hermitienne quaternionique invariante, où σ est une réversion de H. En particulier, les éléments non nuls de Sym_{G}(V) sont des formes bilinéaires symétriques de signature (2m, 2m) (n ≥ 8 multiple de 4, n = 4m).

• (6) d_{s} = 1, d_{a} = 3; G préserve une structure quaternionique, et les éléments de Bil_{G}(V) sont les projections réelles d’une forme hermitienne quaternionique invariante de signature (p, q). En particulier, Sym_{G}(V) est engendré par une forme bilinéaire de signature (4p, 4q) (n ≥ 4 multiple de 4, 4(p + q) = n, p ≥ q).

2. Groupes bilinéaires

Cette partie a pour but de décrire, pour chacun des cas envisagé dans le précédent théorème, un groupe de matrices naturellement associé.

Définition 2.1. Soit B un ensemble de formes bilinéaires sur un espace vectoriel de dimension finie V sur K. On définit O(B) comme le groupe des automorphismes de V préservant tous les B ∈ B: O(B) = ⋂_{B∈B} O(B).

On dit que G ⊂ GL(V) est un groupe bilinéaire (sur K) s’il existe un ensemble B de formes bilinéaires sur V, non réduit à {0}, tel que G = O(B) et s’il agit irréductiblement sur V.

Théoreme 2.2. Si K est un corps algébriquement clos de caractéristique différente de 2, les groupes bilinéaires de dimension n ≥ 1 sont, à conjugaison près dans GL_{n}(K):

• O(n, K)

• Si n est pair, n = 2m: Sp(m, K)

Passons à la classification des groupes bilinéaires sur R: le plus dur a déjà été fait: en effet, le théorème 1.16 décrit exactement quelles doivent être les formes bilinéaire invariantes. Il s’agit donc, dans chaque cas décrit théorème 1.16, de vérifier que le groupe des automorphismes préservant les formes bilinéaires en question agit bien irréductiblement.

Cas (0): ce cas a volontairement été exclu de la définition de groupe bilinéaire.

Cas (1): le groupe est O(p, q), où p + q = n: matriciellement, ce sont les matrices A ∈ GL(n, R)

telles que A^{t}J_{p,q}A = J_{p,q}, où J_{p,q} = (\begin{matrix}I_{p} & 0 \\ 0 & −I_{q} \end{matrix}). On doit montrer que O(p, q) agit iréductiblement

sur R^{n} (n = p + q).

• si q = 0, O(p) agit transitivement sur la sphère et le résultat est donc clair.

• q ≥ 1. Soit W un sous-espace non nul invariant par O(p, q), w un élément non nul de W. Alors w + J_{p,q}w et w − J_{p,q}w sont dans W (car J_{p,q} ∈ O(p, q)), et l’un des deux au moins est non nul. En particulier, W contient un élément x avec ϕ(x, x) ≠ 0. Soit y un élément quelconque avec ϕ(y, y)ϕ(x, x) < 0. Alors le sous-espace H engendré par x et y est non dégénéré de signature (1,1). Donc l’action de O(1, 1) sur ce sous-espace se prolonge en préservant ϕ par l’identité sur H. En particulier, W contient tous les éléments u de H tels que ϕ(u, u) = ϕ(x, x). Ceci est une hyperbole, donc engendre linéairement le plan. On en conclut que y ∈ W.

Donc W contient {y, ϕ(y, y)ϕ(x, x) > 0}, qui engendre linéairement V, et donc W = V.

Cas (2): le groupe est Sp(m, R), où 2m = n. Matriciellement, ce sont les matrices A ∈ GL(n, R)

telles que A^{t}JA = J, où J = (\begin{matrix}0 & −I_{m} \\ I_{m} & 0 \end{matrix}). On doit montrer que Sp(m, R) agit iréductiblement

sur R^{n} si m ≥ 1.

Soit W un sous-espace stable non nul. Commençons par remarquer que Sp(m, R) contient

les matrices de la forme (\begin{matrix}A & 0 \\ 0 & (A^{t})^{−1} \end{matrix}). En particulier, il contient les matrices de la forme

(\begin{matrix}aI_{m} & 0 \\ 0 & a^{−1}I_{m} \end{matrix}), pour tout a ∈ R. Cela implique que W est stable par les matrices de projection

(\begin{matrix}I_{m} & 0 \\ 0 & 0 \end{matrix}) et (\begin{matrix}0 & 0 \\ 0 & I_{m} \end{matrix}). Soit alors x un élément non nul de W. L’une de ses deux projections

sur R^{m} × \{0\}^{m} ou \{0\}^{m} × R^{m} est non nulle. Grâce aux matrices de la forme (\begin{matrix}A & 0 \\ 0 & (A^{t})^{−1} \end{matrix}), W contient alors tout R^{m} × {0}^{m} ou tout {0}^{m} × R^{m}, et grâce à J, W contient en fait les deux, donc est égal à tout R^{n}.

Pour les prochains cas, le lemme évident suivant sera utile:

Lemme 2.3. Supposons que G agisse R-linéairement sur un espace vectoriel complexe V, et que i.id est contenu dans la sous-R-algèbre de End_{R}(V) engendrée par G. Alors, si G agit Cirréductiblement, alors il agit R-irréductiblement.

Cas (3) Le groupe est O(m, C), où n = 2m, et V = C^{m}, espace vectoriel de dimension réelle 2m; matriciellement, ce sont les matrices A complexes carrées de taille m vérifiant A^{t}A = I.

Il agit C-irréductiblement: en effet, si W est un sous-C-espace stable non nul, il est stable par les projection sur les axes des coordonnées (car les matrices diagonales à coefficients ±1 sont dans O(n, C)), donc W contient un des axes des coordonnées; de plus, G contient les matrices de permutations, donc W contient tous les axes de coordonnées, et donc W = V.

Il reste à voir, pour appliquer le lemme 2.3, que i.I_{m} est dans la R-algèbre A engendrée par O(m, C) si m ≥ 2 (si m = 1, c’est clairement faux). Il suffit de montrer que la matrice E_{kk} dont un seul coefficient, diagonal, est non nul et vaut i, est dans A. Il suffit de le faire pour k = 1, et cela résulte de l’égalité:

(\begin{matrix}i & 0 \\ 0 & 0 \end{matrix}) = (\begin{matrix}0 & i \\ 0 & 0 \end{matrix}) (\begin{matrix}0 & −1 \\ 1 & 0 \end{matrix}) = (−\frac{4}{3} (\begin{matrix}0 & −i \\ i & 0 \end{matrix}) + \frac{2}{3} (\begin{matrix}0 & −i/2 \\ 2i & 0 \end{matrix})) · (\begin{matrix}0 & −1 \\ 1 & 0 \end{matrix}) .

Cas (4) Le groupe est U(p, q), où 2(p + q) = n et V = C^{p+q} (p ≥ q): matriciellement, ce sont les matrices A complexes carrées de taille p + q vérifiant A^{∗}J_{p,q}A = I, où A^{∗} est la matrice transposée de Ā.

Montrons qu’il agit C-irréductiblement: comme la matrice i.I_{p+q} est dans U(p, q), le lemme s’applique trivialement.

Soit W un sous-espace stable non nul. Alors W est stable par les projections sur les axes de coordonnées, donc contient un axe de coordonnées. Comme U(p, q) contient les matrices de permutations préservant {1, …, p}, W contient soit C^{p} × {0}^{q}, soit {0}^{p} × C^{q}. De plus, ce sont les seuls sous-espaces susceptibles d’être stables: si W contient un autre élément, sa projection sur l’autre sous-espace sera non nulle et donc W contiendra les deux sous-espaces, donc tout C^{n}. Comme, si q = 0, on a déjà terminé, supposons q ≥ 1. Alors, ces espaces ne sont pas stables: en

effet: si (p, q) = (1, 1), U(1, 1) contient la matrice (\begin{matrix}5/4 & 3/4 \\ 3/4 & 5/4 \end{matrix}), et pour (p, q) quelconque, il suffit

d’insérer cette matrice convenablement dans U(p, q).

Cas (5). Le groupe est Sp(m, C), où 4m = n et V = C^{n}. Matriciellement, ce sont les matrices A ∈ GL(n, C) telles que A^{t}JA = J

Il agit C-irréductiblement: c’est analogue au cas réel (cas (2)). Il faut donc vérifier que i.I_{2m} est dans la R-algèbre engendrée par Sp(m, C):

iI_{2m} = (\begin{matrix}iI_{m} & 0 \\ 0 & iI_{m} \end{matrix}) = −\frac{5}{3} (\begin{matrix}iI_{m} & 0 \\ 0 & −iI_{m} \end{matrix}) + \frac{4}{3} (\begin{matrix}2iI_{m} & 0 \\ 0 & \frac{i}{2}I_{m} \end{matrix}) .

Maintenant, on aura besoin d’un analogue du lemme 2.3: ce n’est pas plus difficile, à ceci près qu’il faut prendre garde à la non-commutativité des quaternions.

Lemme 2.4. Supposons que G agisse R-linéairement sur un espace vectoriel quaternionique à gauche V, et que H.id est contenu dans la sous-R-algèbre de End_{R}(V) engendrée par G. Alors, si G agit H-irréductiblement, alors il agit R-irréductiblement.

Cas (6). Le groupe est O(m, H), où 4m = n ≥ 8 et V = H^{m}: matriciellement, ce sont les matrices quaternioniques A de taille m × m vérifiant A^{#}A = I, où A^{#} est la matrice transposée de σ(A) (avec, rappelons-le, σ(a + bi + cj + dk) = a + bi − cj + dk).

On a déjà remarqué que pour m = 1, ce groupe est commutatif de dimension 1 et n’agit pas R-irréductiblement sur H.

Montrons en revanche que c’est le cas si m ≥ 2.

Soit p_{u} la projection sur l’axe de coordonnée u. Montrons que zp_{u} est sont dans la R-algèbre engendrée par O(m, H) pour tout z ∈ H. Il suffit de le faire pour u = 1, et cela découle des remarques suivantes:

A = (\begin{matrix}1 & 0 \\ 0 & −1 \end{matrix}) ∈ O(2, H) ; B = (\begin{matrix}j & 0 \\ 0 & j \end{matrix}) ∈ O(2, H) ; C = (\begin{matrix}0 & 1 \\ 1 & 0 \end{matrix}) ∈ O(2, H).

De plus, ∀t ∈ R, (\begin{matrix}cosh(t) & −i sinh(t) \\ i sinh(t) & cosh(t) \end{matrix}) ∈ O(2, H) si bien que que la matrice D = (\begin{matrix}0 & −i \\ i & 0 \end{matrix}) est

dans la R-algèbre engendrée par O(m, H).

Alors, si P = (1/2)(I + A), les projections zp_{1} pour z = 1, i, j, k sont repsectivement P, P CD, P B, et P CDB.

Ainsi, si W est un sous-espace réel non nul préservé par O(m, H), W contient un axe de coordonnées (quaternioniques). Comme O(m, H) contient les matrices de permutations, W contient tous les axes de coordonnées et donc W = V.

Cas (7). Le groupe est Sp(p, q), où 4(p + q) = n ≥ 4 et V = H^{p+q}: matriciellement, ce sont les matrices quaternioniques A carrées de taille p + q vérifiant A^{∗}J_{p,q}A = I, où A∗ est la matrice transposée de Ā.

La preuve de l’irréductibilité de l’action sur H^{p+q} est analogue au cas de U(p, q).

Il reste une vérification pour voir que chacun des cas du théorème 1.16 peut apparaître: chacun des groupes obtenus ne préserve pas d’autres formes bilinéaires que celles données.

Cas réel: les représentations de O(p, q) sur R^{p+q} (p+q ≥ 1) et de Sp(m, R) sur R^{2m} (m ≥ 1) sont absolument irréductibles, si bien que l’ensemble des formes bilinéaires invariantes est de dimension 1.

Cas quaternionique: on a déjà un espace de dimension 4 de formes bilinéaires invariantes; il ne peut pas y en avoir plus.

Reste le cas complexe qui est le moins trivial. En dimension réelle non multiple de 4, l’espace des formes bilinéaires est de dimension au plus deux, donc il faut se préoccuper de la dimension réelle 4m (m ≥ 1). Les trois groupes à vérifier sont O(2m, C), U(p, q) (p + q = 2m), et Sp(m, C). Ils sont de dimension respectivement 4m^{2} − 2m, 4m^{2}, et 4m^{2} + 2m.

Or, les groupes possibles en dimension quaternionique m sont O(m, H) et Sp(p′, q′) (p′+q′ = m), et sont de dimension respectivement 2m^{2} − m et 2m^{2} + m.

Par une étude de ces inégalités, le seul cas où un de ces groupes complexes serait susceptible de se plonger dans un de ces groupes quaternioniques serait O(2, C) dans Sp(1). Mais ce n’est pas possible: en effet, le premier préserve une forme quadratique de signature (2, 2) et pas le second.

Théoreme 2.5. En dimension n ≥ 1, les groupes bilinéaires réels sont • O(p, q) (n ∈ N^{∗}, p + q = n, p ≥ q)

• Sp(m, R) (n ∈ 2N^{∗}, n = 2m).
• O(m, C) (n ∈ 2N^{∗}, n = 2m).
• U(p, q) (n ∈ 2N^{∗}, n = 2(p + q), p ≥ q).
• Sp(m, C) (n ∈ 4N^{∗}, n = 4m).
• O(m, H) (n ∈ 4N^{∗}, n = 4m, m ≥ 2).
• Sp(p, q) (n ∈ 4N^{∗}, n = 4(p + q), p ≥ q).

Ils donnent, pour chacun des cas (1) à (7) (dans l’ordre) du théorème 1.16, un exemple d’action irréductible dont l’ensemble des formes bilinéaires invariantes est tel qu’il est décrit théorème 1.16.

Définition 2.6. Soit G un groupe et ρ : G → GL(V) une représentation irréductible réelle de G. Le groupe bilinéaire du théorème 2.5 correspondant sera appelé le type de ρ.

Exemple 2.7. Soit V_{n} la représentation irréductible réelle de dimension n de SL(2, R) (n ≥ 1). Alors V_{n} est de type Sp(m, R) si n = 2m est pair, et de type O(m+1, m) si n = 2m+1 est impair.

Parmi ces représentations, celles qui factorisent par P SL(2, R) sont celles de dimension impaire.

Exemple 2.8. Soit U_{2n} la représentation irréductible complexe de dimension n de SU(2), vue comme représentation réelle de dimension réelle 2n. Si n est impair, U_{2n} est n’est pas irréductible comme représentation réelle, en revanche, U_{4m} est irréductible, de type Sp(m).

Les autres représentations irréductibles de SU(2) sont données par une famille (D_{n}) (indexée par n impair), D_{n} étant de dimension n et de type O(n).

Parmi ces deux familles, les seules représentations factorisant par SO(3) sont les représentations D_{n}.

3. Formes bilinéaires et hermitiennes invariantes

Comme le titre de cette partie le suggère, nous alons maintenant revenir aux représentations complexes. On a déjà vu que l’étude des différents types de formes bilinéaires invariantes par une représentation irréductible est essentiellement triviale puisque C est algébriquement clos. En revanche, si on s’intéresse également aux formes hermitiennes invariantes, on retombe sur des résultats très proches de ceux obtenus dans l’étude du cas réel effectué précédemment.

On s’intéresse donc à des représentations de G dans un espace vectoriel complexe V.

Rappelons qu’une forme sesquilinéaire (ou semi-linéaire) sur V est une forme R-bilinéaire φ satisfaisant à

φ(ax, by) = ābφ(x, y) ∀a, b ∈ C, x, y ∈ V.

Une forme sesquilinéaire définit un morphisme antilinéaire u_{φ} de V vers son dual, qui à x associe la forme linéaire φ(x, ·).

On remarque que si φ est préservée par G, alors u_{φ} est un morphisme de G-modules. En particulier, si G préserve deux formes sesquilinéaires φ et ψ, et si de plus φ est non dégénérée, alors u_{φ}^{−1} ∘ u_{ψ} est un endomorphisme du G-module V. Avec le lemme de Schur, on obtient ainsi que si G agit irréductiblement, alors l’ensemble des formes sesquilinéaires préservées par G est de dimension au plus 1.

Notons d_{b} (resp. d_{h}) la dimension de l’ensemble des formes bilinéaires G-invariantes. Alors, si G agit irréductiblement, (d_{b}, d_{h}) est parmi (0, 0), (1, 0), (0, 1), (1, 1).

Observons également que si G préserve une forme sesquilinéaire non nulle φ, il préserve également sa conjuguée. Si G agit irréductiblement, cela implique que φ̄ = e^{iθ}φ pour un θ ∈ R, si bien que e^{−iθ/2}φ est une forme hermitienne non nulle préservée par G.

Lemme 3.1. Si G agit irréductiblement, alors l’ensemble des formes sesquilinéaires préservées par G est de dimension au plus 1 et est engendré par une forme hermitienne.

Nous allons décrire les trois types de représentations irréductibles complexe (cette étude se trouve également dans J-P Serre, Représentations linéaires des groupes finis, p. 122).

Soit V une représentation complexe irréductible de G; on note σ le morphisme G → GL(V). Rappelons que son caractère est la fonction χ(g) = T r(σ(g)). Notons End_{G}^{R}(V) le commutant de G dans l’ensemble des endomorphismes R-linéaires de V.

Premier cas (type réel): V n’est pas R-irréductible. Alors χ est à valeurs réelles, et V est la complexifiée d’une représentation réelle absolument irréductible.

Deuxième cas (type complexe): End_{G}^{R}(V) est réduit à C.

Troisième cas (type quaternionique): End_{G}^{R}(V) est isomorphe à H.

On est forcément dans un de ces trois cas: en effet, si V n’est pas R-irréductible, la représentation est de type réel; sinon, elle est R-irréductible, et donc End_{G}^{R}(V) est un corps gauche sur R contenant C. Si la représentation est de type réel ou quaternionique, alors χ est à valeurs réelles; la réciproque est vraie mais moins triviale (nous n’en aurons pas besoin).

Passons à l’étude, dans chaque cas, des formes bilinéaires et hermitiennes. Excluons d’emblée le cas où il n’y en a pas (d_{b} = d_{h} = 0).

• Type réel: par restriction puis en prenant parties réelles et imaginaires, on obtient des formes bilinéaires invariantes sur V_{R}. Réciproquement, s’il existe une forme bilinéaire invariante b sur V_{R}, symétrique ou alternée, elle définit une forme bilinéaire invariante B sur V donnée par B(x+iy, z + it) = b(x, y) − b(y, t) + i(b(x, t) + b(y, z)) et une forme hermitienne ou antihermitienne invariante donnée par φ(x + iy, z + it) = b(x, y) + b(y, t) + i(b(x, t) − b(y, z)).

Ainsi on a les cas suivants

(1) V_{R} préserve une forme bilinéaire symétrique de signature (p, q): alors V préserve une forme hermitienne de signature (p, q) et une forme quadratique.

(2) V_{R} préserve une forme bilinéaire symplectique: alors V préserve une forme hermitienne de signature (m, m) (dim(V) = 2m) et une forme symplectique.

• Type complexe: on a forcément d_{b}d_{h} = 0: en effet, sinon, par composition des morphismes vers le dual associés, on obtiendrait un morphisme antilinéaire commutant à l’action de G, ce qui n’existe pas par définition du type complexe.

On a donc les cas suivants:

(3) G préserve une forme quadratique.

(4) G préserve une forme hermitienne de signature (p, q).

(5) G préserve une forme symplectique.

• Type quaternionique: voyant V comme représentation réelle, on est dans un des cas (6) ou (7) du théorème 2.5. Remarquons que V est de dimension (complexe) paire.

(6) G préserve une forme hermitienne de signature (m, m) et une forme quadratique.

(7) G préserve une forme hermitienne de signature (p, q) et une forme symplectique.

Nous laissons les vérifications au lecteur.

Nous pouvons conclure par un théorème analogue au théorème 2.5.

Définition 3.2. Soit V un espace vectoriel complexe de dimension finie. On dit que G ⊂ GL(V) est un groupe semi-bilinéaire s’il existe un ensemble B de formes bilinéaires ou sesquilinéaires sur V, non réduit à {0}, tel que G = O(B) et tel que G agit irréductiblement sur V.

Théoreme 3.3. En dimension n ≥ 1, les groupes semi-bilinéaires sont • O(p, q; R) (n ∈ N^{∗}, p + q = n, p ≥ q)

• Sp(m, R) (n ∈ 2N^{∗}, n = 2m).
• O(m, C) (n ∈ N^{∗}).
• U(p, q) (n ∈ N^{∗}, n = p + q, p ≥ q).
• Sp(m, C) (n ∈ 2N^{∗}, n = 2m).
• O(m, H) (n ∈ 2N^{∗}, n = 2m, m ≥ 2).
• Sp(p, q) (n ∈ 2N^{∗}, n = 2(p + q), p ≥ q).

Dans les cas (1) et (2), la représentation est la complexifiée de la représentation réelle correspondante du théorème 2.5. Dans les cas (3) à (7), la représentation est R-irréductible, et correspond après restriction des scalaires à la représentation réelle correspondante du théorème 2.5.

Référence. Le lecteur trouvera une classification (obtenu par une méthode différente) des différents types de représentations irréductibles réelles dans l’article suivant:

R. Shaw. The ten classical types of group representations. J. Phys. A: Math. Gen. 19 (1986) 35–44.

Yves de Cornulier ENS Paris; EPF Lausanne, IGAT

E-mail: decornul@clipper.ens.fr

Homepage:

  http://www.eleves.ens.fr/home/decornul/