ユニタリ表現の制限のその応用について^{∗} ON THE RESTRICTION OF UNITARY

REPRESENTATIONS AND THEIR APPLICATIONS

小林俊行 (Toshiyuki KOBAYASHI)

東京大学数理科学研究科 Department of Mathematical Sciences University of Tokyo, Komaba, Meguro, 153, Tokyo, Japan E-mail: toshi@ms.u-tokyo.ac.jp

ユニタリ表現論における結果

はじめに設定と問題意識を述べます。 G を実簡約線型リー群, G′ を G の部分群であって G において簡約であ

るとします。特に, G′ も実簡約線型リー群であることに注意しましょう。

G の既約ユニタリ表現の同値類の全体 (unitary dual)^{1}を Ĝ, 同様に, G′ の既約ユニタリ表現の同値類の全体を Ĝ′ と表すことにします。

さて, G の既約ユニタリ表現 π ∈ Ĝ の部分群 G′ への制限 π|_{G′} は, 一般には G′ の表現としては既約ではなく, G′ の既約ユニタリ表現の直積分として

π|_{G′} ≃ ∫ ⊕ ; Ĝ′ m_{G′}(τ : π|_{G′}) τ dμ(τ)

∗ 1996 年 11 月 20 日 (表現論シンポジウム, 三河ハイツ) での講演予稿集。 1Ĝ の分類はいくつかの群を除いてはまだ完全には解決されていません。

現状については [10] の注; Orbit method との関連では [25], Chapter 5; 日本語

では, [12], 注 2 とそこに挙げた文献表; [15], §1 などに触れられています。

Typeset by AMS-TEX 2 小林俊行 (TOSHIYUKI KOBAYASHI)

と分解されます。ここで, dμ は Ĝ′ 上の測度, m_{G′}(· : π|_{G′}): Ĝ′ → ℕ∪{∞} は重複度を表し, Ĝ′ 上, 測度 dμ に関して殆ど到る所定義された関数です。

この既約分解の具体的な形は, 分岐則 (branching law) と呼ばれますが, 分岐則を求めることは, 特別な設定であっても, 多くの場合非常に難しい問題^{2}です。この講演での観点は, 分岐則を求める上での「特別良いクラス」 (定義 1, 2 参照) を抽出することです。

1) 「特別良いクラス」が相当豊かな例を含んでいること,

2) 「特別良いクラス」の特徴付け,

3) 「特別良いクラス」が他の分野にどう関わるか? などについて, 現時点で理解されたことのいくつかをかいつまんで説明したいと思います。

\underline{定義 1}. 「制限 π|_{G′} は G′-admissible である」とは, 測度 dμ が離散的であり, すべての τ ∈ Ĝ′ に対して重複度 m_{G′}(τ : π|_{G′}) < ∞ となるときをいうことにします。

制限 π|_{G′} が G′-admissible である古典的な場合として次の例が知られています。 Case 1) G′ = K. この場合, 任意の π ∈ Ĝ に対して, 制限 π|_{K} は Kadmissible となります^{3}。無限次元ユニタリ表現論は, (𝔤_{ℂ}, K)-加群を考えることによって, 純代数的な研究対象として扱えますが, その基礎となるのが, この Harish-Chandra による K-admissibility の古典的な定理です。 Case 2) π が最高ウェイト加群^{4}。この場合, ある種の簡約部分群 G′ に

2例えば, 半単純対称空間 G/H で H が 1 次元の中心を持っている場合, L^{2}(G/H, χ) の Plancherel 型定理と, 非常に特別な表現の分岐則とは同値に

なります ([12], 命題 6.1, 6.2) 。

3通常の呼び方では admissible ですが, 定義 1 の用語法に沿うとこうなります。

4例えば, Segal-Shale-Weil 表現, 正則離散系列表現など。 Joseph による概

説と最近の文献の案内 ([25], ２章) 参照。

RESTRICTION OF UNITARY REPRESENTATIONS 3

対して, 制限 π|_{G′} が G′-admissible となること, 及びいくつかの特別な場合の具体的な分岐則 (例えば Howe の意味の dual pair 対応など) が知られています ([6], [7], [8], [19]) 。

しかし, Case (1) では部分群 G′ があまりにも特別であり, Case (2) では表現 π があまりにも特別であって, 制限 π|_{G′} が G′-admissible であるという性質はこのような極めて特別な仮定に付随した性質であるという第一印象を受けるかも知れません。

制限 π|_{G′} が G′-admissible であるという非自明な (すなわち, G′ は非コンパクトであり, π は最高ウェイトを持たない) 最初の例は, 次の設定で得られたものです: 「半単純対称空間 G/H の一様格子 Γ をその Zariski 閉包 G′ := \overline{Γ} が G/H に proper に作用する^{5}ように構成し, π ∈ Ĝ を G/H の離散系列表現として, 制限 π|′_{G} を考える。」

これは, 次の図式

discrete 版:  離散群の properly discontinuous な作用
↓↑
continuous 版:  連結リー群の proper な作用
↓↑
representation 版: 連結リー群のユニタリ表現の admissibility

が互いに類似の概念を与えているという philosophy を示唆するものと考えられます (最後の ↓↑ は, philosophical なものであって, 証明があるわけではありません) 。

一般には非リーマン等質多様体に一様格子は存在するとは限りません。この方面の入門書として, 最近の進展をまとめた [25], 3 章が読みやすいと思います。

5非コンパクトなリー群の作用の中で, slice の存在を与えるという点でコンパクト群の作用に近い概念で, R. Palais [23] によって主唱されました。

4 小林俊行 (TOSHIYUKI KOBAYASHI)

ここでは, 純粋に表現論的な考察をします。まず, 定義 1 で述べた admissibility の代数的な類似物を導入します。 K を G の極大コンパクト部分群, K′ を G′ の極大コンパクト部分群としましょう。一般性を失うことなく, K′ ⊂ K と仮定することができます。 G のリー代数を 𝔤 で表します。

\underline{定義 2}. (𝔤_{ℂ}, K)-加群 π が (𝔤′_{ℂ}, K′)-加群として離散分解可能 (discretely decomposable) であるとは,

π ≃ ⨁_{τ} n_{π}(τ)τ, (𝔤′_{ℂ}, K′)-加群としての代数的直和

と分解されるときをいうことにします。ここで, τ は既約な (𝔤′_{ℂ}, K′)-加群で, n_{π}(τ) ∈ ℕ ∪ {∞} とします。

π が (𝔤′_{ℂ}, K′)-加群としていつ離散分解可能となるかについて, 表現 π および部分群 G′ として次の重要な場合

π  : Zuckerman-Vogan の導来函手加群 A_{𝔮}(λ) ([10] 参照),
(G, G′) : 簡約対称対 (局所的な分類は [1] 参照) .

に絞って考察します。ただし, A_{𝔮}(λ) を考える場合, λ にある種の dominant condition ([10] の意味で weakly fair; そこではユニタリ化可能定理が成り立つ^{6}) を仮定します。

\underline{定理 A}. G′ (G の部分群) と 𝔮 (G の表現 A_{𝔮}(λ) を定義する θ-stable な放物型代数) に関する次の３条件は同値:

i) A_{𝔮}(λ) は, \underline{十分 regular なある λ に対して}, (𝔤′_{ℂ}, K′)-加群として離散分解可能。

6これは代数的手法によるユニタリ表現論の中で特に重要な結果で, ８０年代前半に Vogan [28] および Wallach [29] によって独立に証明されました。

RESTRICTION OF UNITARY REPRESENTATIONS 5

ii) A_{𝔮}(λ) は, \underline{すべての λに対して}, (𝔤′_{ℂ}, K′)-加群として離散分解可能。 iii) Cone(𝔮) ∩ Subsp(G′) = {0}.

\underline{定理 B}. 定理 A の同値な条件が満たされているとき, A_{𝔮}(λ) のユニタリ化を\overline{A_{𝔮}(λ)} とすると, G のユニタリ表現\overline{A_{𝔮}(λ)} の G′ への制限\overline{A_{𝔮}(λ)}|_{G′} は G′-admissible となり, 特に, 分岐則における G′ の既約ユニタリ表現の各重複度は有限となります。。

ここで, Cone(𝔮) は 𝔮 によって定義される錐で, Subsp(G′) は G′ によって定義される部分空間であって, いずれも K の Cartan 代数の双対空間の部分集合です。すなわち, (G, G′) を σ ∈ Aut(G) によって定義された簡約対称対とします。 σ と可換な G の Cartan involution θ をとり, K = G^{θ} のリー環 𝔨 の部分空間を 𝔨_{±} := {X ∈ 𝔨 : σ(X) = ±X} で定義します。 𝔨_{−} の極大な可換部分代数 𝔱_{−} を含む 𝔨 の Cartan 部分代数を 𝔱 をとります。このとき, 𝔱 = 𝔱_{+} ⊕ 𝔱_{−} の直和分解によって,

Subsp(G′) := \sqrt{−1}𝔱_{−}^{∗}

を, \sqrt{−1}𝔱^{∗} の部分空間とみなして定義します。制限ルート系 Σ(𝔨_{ℂ}, 𝔱_{−ℂ}) の正のルートの集合を決め, それに compatible になるようにルート系 Δ(𝔨_{ℂ}, 𝔱_{ℂ}) の正のルートの集合 Δ^{+}(𝔨_{ℂ}, 𝔱_{ℂ}) を選びます。任意の楕円型軌道 (⊂ \sqrt{−1}𝔤^{∗}) はΔ^{+}(𝔨_{ℂ}, 𝔱_{ℂ}) に関する dominant Weyl chamber と一点で交わり, その点を λ ∈ \sqrt{−1}𝔱^{∗} とします。 𝔤_{ℂ} の θ-stable な放物型部分代数をad 𝔱-不変な 𝔤_{ℂ} の複素部分空間であって, Δ(𝔮, 𝔱_{ℂ}) = {α ∈ Δ(𝔤_{ℂ}, 𝔱_{ℂ}) : ⟨α, λ⟩ ≥ 0\} で定義されているとします。このとき, \sqrt{−1}𝔱^{∗} の閉錐を

Cone(𝔮) := { ∑_{β∈Δ(𝔲(λ)∩𝔭,𝔱)} n_{β} β : n_{β} ≥ 0}

で定義します。定義より, G′ がコンパクトの場合,

Subsp(G′) = {0}

となりますから, どんな 𝔮 に対しても定理 A の条件 (iii) は成り立っており, これが最初に述べた Harish-Chandra の結果に相当します。

定理 A では, G′ は必ずしもコンパクトである必要はなく, A_{𝔮}(λ) は必ずしも最高ウェイトをもつとは限らないということに注意します。それにもかかわらず, 離散分解可能 (discretely decomposable) という性質をもつ表現の制限はかなり豊富に存在します。

\underline{例}. (G, G′) = (U(2, 2), Sp(1, 1)) ≈ (SO(4, 2), SO(4, 1)) の場合, Ĝ の中で, regular かつ integral な無限小指標をもつ G の既約ユニタリ表現は 18 系列あり, その内 12 系列が, (𝔤′_{ℂ}, K′) 加群として離散分解可能となります ([13], Part III, Proposition 7.5) 。

なお, 定理 A では, 応用上特に面白い場合: π = A_{𝔮}(λ), (G, G′) =簡約対称対に限って記述しましたが, 任意のユニタリ表現 π, 任意の簡約部分群 G′ に対しても判定条件を得ることができます。その場合にも面白い応用はあるのですが, ここには話が散漫になるのでさけましょう。

証明については, 「離散分解可能」という概念 (定義 1, 定義 2) を定義してしまえば (すなわち非自明な例が存在し, 抽出するにふさわしい概念であると見抜けば), 「離散分解可能」の一般的な判定条件に対するいくつかの有力なアプローチのしかたがあります。 admissibility の十分条件に関する最初の結果 ([11], §5; [13], Part I) は Zuckerman-Vogan の導来函手加群のスペクトラル系列の段階で K-type の分布を評価する代数的証明法を用いましたが, その抽象的な枠組み自体は柏原-Vergne の asymptotic K-support を援用した micro-local analysis の立場から説明することもで

RESTRICTION OF UNITARY REPRESENTATIONS 7

きます^{7}([13], Part II); 逆に, 離散分解可能のための必要条件は associated variety を用いて求めることができます ([13], Part III) 。なお, [13], Part II と III では,

π : (必ずしも A_{𝔮}(λ) とは限らない) 任意のユニタリ表現,

G′: (必ずしも (G, G′) が対称対とは限らない) 任意の簡約部分群という設定でこれらの判定条件が証明されています。

この節を終える前に, 定理 A の (表現論における) 系を一つだけ挙げておきましょう。

\underline{系}. (非コンパクト) 半単純対称空間 G/H の離散系列表現 π の Harish-Chandra 加群 π_{K} は (𝔥_{ℂ}, H ∩ K)-加群として決して離散分解可能とはならない。

この系は半単純対称空間が, イ) 群多様体の場合は, 例えば, 正則離散系列表現と反正則離散系列表現のテンソル積には必ず連続スペクトラムが存在する ([24]), ロ) リーマン対称空間の場合は, L^{2}(G/K) には離散系列表現が存在しない。一方, π ∈ Ĝ ならば制限 π|_{K} は常に K-admissible である (Harish-Chandra),

などといった良く知られた事実を「離散分解可能定理」の判定条件から説明を与えています。さらに, ハ) モジュラーシンボル (次節参照) の Tong-Wang ([26]) による非消滅定理と Kobayashi-Oda による消滅定理 ([17] ; 次節に特別な例を説明する) の背後^{8}にある表現論的な性質の関係を明らかにしているといえます。

7ただし, A_{𝔮}(λ) のような具体的なユニタリ表現を扱うには, 個別の議論と組み合わせる必要があります。

8前者の仮定は π ∈ Ĝ が G/H の離散系列表現であること; 後者の仮定は π ∈ Ĝ が H (𝔥, H ∩ K) に制限して離散分解可能であること。

応用について

ここでは, ２つの応用 (モジュラーシンボル, 離散系列表現) を紹介しましょう。応用 1) \underline{リーマン対称空間の算術商の modular symbol の消滅型定理}

まず, modular symbol の定義を述べましょう。

G′ ⊂ G :共に実線型簡約リー群,
K′ ⊂ K:それぞれ G′ ⊂ G の極大コンパクト部分群 ,
Γ′ ⊂ Γ :それぞれ G′ ⊂ G の余コンパクトな, 捻れ元のない離散部分群 ,

(ただし K′ = K ∩ G′, Γ′ = Γ ∩ G′) とするとき, コンパクトな局所リーマン対称空間の埋め込み

ι : Y := Γ′\G′/K′ → X := Γ\G/K

が得られます。 ι の像は全測地的部分多様体 (次元を m としましょう) となります。 ι が誘導するホモロジー群の準同型写像

ι_{∗} : H_{m}(Y; ℤ) → H_{m}(X; ℤ)

による基本類 [Y] ∈ H_{m}(Y; ℤ) の像 ι_{∗}[Y] ∈ H_{m}(X; ℤ) を modular symbol と呼びます。特に

(G, G′) = (SO(2n, 2), SO(2n, 1))

の場合, Y は totally real なコンパクト部分多様体で, Y が定める modular symbol は IV 型有界対称領域の算術商

X = Γ\SO(2n, 2)/SO(2n) × SO(2)

RESTRICTION OF UNITARY REPRESENTATIONS 9

の 2n 次のホモロジー群の元となります。 X はコンパクトなケーラー多様体なので, Poincaré の双対定理を通じて modular symbol をコホモロジー群 H^{2n}(X; ℂ) の元とみなしたとき, その (p, q)-型のホッジ成分 M^{p,q}(Y) ∈ H^{p,q}(X; ℂ) を考えることができます。織田孝幸先生は, 保型形式の立場から, (n, n)-型ホッジ成分 M^{n,n}(Y) の消滅定理を予想されました。その予想は, 表現論の手法 (定理 A の離散分解可能の判定条件が主な道具) を用いて, 肯定的に解決されました: \underline{定理 ([17])}. ある普遍コホモロジー元^{9} η があって,

M^{n,n}(Y) = \frac{vol(Y)}{vol(X)} η.

この定理は, 一般の対称対 (G, G′) に対するモジュラーシンボルの (抽象的な) 消滅定理 ([17], §2) より導かれます。

応用 2) \underline{ある種の非対称簡約型等質多様体の上の離散系列表現の構成}

半単純対称空間の離散系列表現の構成 (Flensted-Jensen, 松木-大島 ([3], [22])) は「双対」と呼ばれるリーマン対称空間とその境界のある閉軌道を用いるものでしたが, 非対称空間では「双対」に対応する良い等質多様体は存在せず, 離散系列の構成には全く新たな方法が必要となります。ここでの方法は, admissible な表現の制限と, すでに良く知られている等質多様体 (例えば, 群多様体や半単純対称空間) の調和解析を組み合わせるというアイディアを用います。すなわち, 研究したい空間 G/H を大きな (良く知られている) 空間 G̃/H̃ に

G/H ↪ G̃/H̃

として埋め込み, G̃ の表現を G̃ の部分群 G に制限したもの (の商) として関数空間の引き戻しをとらえようというわけです。このとき, G̃ の表

9リー環の元で明確に与えられ, Γ に依存しない, コホモロジー類。現の制限が G-admissible であるという仮定があると, G/H と G̃/H̃ での

関数の減少度について良い評価式が得られます。

一番簡単な場合にこの考え方を適用すると, 例えば,

G_{2}(ℝ)/SL(3, ℝ), SO(4, 3)/G_{2}(ℝ) や SU(n, n + 1)/Sp(n, ℝ)

といった球等質多様体^{10}には, 離散系列表現が無限個存在し, これらの非

対称球等質多様体の離散系列の分類は純粋に表現論の問題に帰着します

([13], Part I, Theorem 5.4) 。逆に, (本質的には同じ手法で) 例えば

SL(2n + 1, ℝ)/Sp(n, ℝ)

といった等質多様体には離散系列表現が存在しないことが証明されます。

もっと一般の等質多様体についても, 上記のアイディアによって離散系

列をもつ簡約型等質多様体の十分条件が得られ, さらに松木敏彦氏の最

近の結果 ([20], [21]) を援用することによって具体的な場合の計算もなさ

れています (詳しくは [16] 参照) 。

References

[1] M. Berger, Les espaces symétriques non compacts, Ann. Sci. Eco. No. Sup. 74 (1957), 85-177.

[2] M. Brion, Classification des espaces homogènes sphériques, Compositio Math. 63 (1987), 189–208.

[3] M. Flensted-Jensen, Discrete series for semisimple symmetric spaces, Ann. of Math. 111 (1980), 253-311.

[4] B. H. Gross and N. R. Wallach, A distinguished family of unitary representations for the exceptional groups of real rank = 4, Lie Theory and Geometry, In honor of Bertram Kostant, vol. 123, Progress in Math., Birkhäuser, 1994, pp. 289-304.

[5] Harish-Chandra, Representations of semi-simple Lie groups, I, III, Trans.A.M.S. 75, (1953), 185-243; 76, (1954), 234-253; IV, Amer.J.Math. 77, (1955), 743-777.

[6] R. Howe, θ-series and invariant theory, Proc. Symp. Pure Math. 33 (1979), A. M. S., 275-285.

[7] H. P. Jakobsen and M. Vergne, Restrictions and expansions of holomorphic representations, J. Funct. Anal. 34 (1979), 29-53.

10ℂ 上での分類は [2], [18] を参照。

[8] M. Kashiwara and M. Vergne, On the Segal-Shale-Weil representations and harmonic polynomials, Invent. Math. 44 (1978), 1-47.

[9] , K-types and singular spectrum, Lect. Notes. Math. 728 (1979), 177-200.

[10] A. Knapp and D. Vogan, Cohomological Induction and Unitary Representations, Princeton University Press, 1995.

[11] T. Kobayashi, Singular Unitary Representations and Discrete Series for Indefinite Stiefel Manifolds U(p, q; 𝔽)/U(p − m, q; 𝔽), vol. 462, Memoirs of Amer. Math. Soc., 1992.

[12] , 簡約型等質多様体上の調和解析と表現論, 数学「論説」 46 (1994),

日本数学会 (岩波書店), 124-143.

[13] , Discrete decomposability of the restriction of A_{𝔮}(λ) with respect to reductive subgroups and its applications, Inventiones Math. 117 (1994), 181-205; Part II, Part III (to appear).

[14] , The Restriction of A_{𝔮}(λ) to reductive subgroups. I, II, Proc. Acad. Japan 69 (1993), 262-267; 71 (1995) 24-26.

[15] , 球等質多様体上の調和解析入門, 第３回整数論サマースクール「等質空間と保型形式」 (1995), 22-41, 佐藤文広氏 (立教大) 編集.

[16] , Discrete series representations for the orbit spaces arising from two involutions of real reductive Lie groups, preprint (1996).

[17] T. Kobayashi and T. Oda, Vanishing theorem of modular symbols on locally symmetric spaces, preprint (1996).

[18] M. Krämer, Sphärische Untergruppen in kompakten zusammenhängenden Liegruppen, Compositio Math. 38-2 (1979), 129-153.

[19] S. Martens, The characters of the holomorphic discrete series, Proc. Nat. Acad. Sci. USA 72 (1975), 3275-3276.

[20] T. Matsuki, Double coset decompositions of algebraic groups arising from two involutions I, J. Algebra 175 (1995), 865–925.

[21] , Double coset decompositions of reductive Lie groups arising from two involutions, preprint, 67 pages (1995).

[22] T. Matsuki and T. Oshima, A description of discrete series for semisimple symmetric spaces, Advanced Studies in Pure Math. 4 (1984), 331–390.

[23] R. S. Palais, On the existence of slices for actions of noncompact Lie groups, Ann. of Math. 73 (1961), 295–323.

[24] J. Repka, Tensor products of holomorphic discrete series representations, Can. J. Math. 31 (1979), 836-844.

[25] H. Schlichtkrull and B. Ørsted (Eds.), Algebraic and Analytic Methods in Representation Theory — Lecture Notes of the European School on Group Theory 1994, Ch. 2 (by A. Joseph); Ch. 3 (by T. Kobayashi); Ch. 5 (by D. Vogan, Jr.), Perspectives in Mathematics 17, Academic Press, 1996.

[26] Y. L. Tong and S. P. Wang, Geometric realization of discrete series for semisimple symmetric spaces, Invent. Math. 96-2 (1989), 425–458.

[27] D. Vogan, Jr., Representations of real reductive Lie groups, Progress in Math. 15, Birkhäuser, 1981.

[28] , Unitarizability of certain series of representations, Ann. of Math. 120 (1984), 141-187.

[29] N. R. Wallach, On the unitarizability of derived functor modules, Inventiones Math. 78 (1984), 131-141.