HumanXトークイベントレポート Future Humanity ―身体と感覚が紡ぐ未来シナリオ

１部ではインスピレーションセッションとして、クロスモーダルを最先端で研究している若手研究者の方々から発表がありました。プロテウス効果を活用したアバターによる自己変容、空間インタラクションの未来、非言語メッセージの表現手法など多岐にわたりました。好きな食物を好きな人と好きな場所で食べられるAR/VR研究では、視覚が味覚に与える研究でそうめんを食べるときにラーメンの絵をみながら食べるとラーメンの味がしてくること、また誰と食べる、どこで食べるという観点をメタバース空間の活用により最終的には食経験がない味の提示までを見据えた話など、クロスモーダルが切り拓く新しい創造性のゆくえを考察する時間になりました。

２部ではHumanityをテーマに、クロスモーダル研究の最先端を走る研究者を交えて、専門を超えた越領域セッションが行われました。

カタリスト
鳴海拓志(東京大学大学院情報理工学系研究科准教授)
小泉直也(電気通信大学情報理工学研究科准教授)
平尾悠太朗(奈良先端科学技術大学院大学情報科学領域助教)
安田登(能楽師)
川口伸明(アスタミューゼ株式会社/『2060未来創造の白地図』著者)
金じょんひょん(博報堂研究デザインセンター/Human X プロジェクトリーダー)
児玉誠周(博報堂ミライの事業室/Human X)
星出祐輔(UoCディレクター/慶應義塾大学大学院政策・メディア研究科特任講師)

人間が本来持っている感覚や感情、身体の特性を活用する「Humanity Thinking」

冒頭では、博報堂HumanXプロジェクトリーダーの金がクロスモーダル知覚を活用したアイデア創出ソリューション「Humanity Thinking」の概要について説明しました。

Humanity Thinkingは、「感覚のゆらぎを、デザインする。」をコンセプトに、人間が本来持っている感覚や感情、身体の特性を活用し、新商品開発や新規事業創出の発案を促すソリューションです。

また、人間の普遍的な特性を生かしたアイデアの発想をサポートするヒント集「HUMANITY TIPS」は、人間の五感（視覚・聴覚・触覚・嗅覚・味覚）と認知、感情、行動の観点から50tipsに分けたカードで、実際のアイディエーション活動の際に使うものになっています。

「自分が博士課程で研究した内容を製品化した『Write More』を通じて感じたのは、人間の身体や感覚をうまく活用すれば、『今までにない体験を作り出すことができる』ということでした。そこから、もっと身体と感覚の特性を生かした体験づくりの研究を続けていきたいと思うようになったんです」（金）

2022年には東京大学大学院の鳴海准教授と共同開発した「ビールのおいしさを増幅させる音楽」では、クロスモーダル知覚を活用し、聴覚によって特定の味覚を増幅させることにチャレンジしました。
ビールの泡の音や、“ゴクゴク”と飲む音などを音楽の素材にし、色々とテクスチャーを変えることによって、同じビールでも甘い味がしたり、炭酸感を想起したりと、ビールのおいしさや味わいを音楽で拡張する取り組みになっています。

「この取り組みを実施して気付いたのは、科学的かつ感性的なアプローチを活用すれば、生活のさまざまな思いを叶えられるのではということでした。そこから、人間に本来備わっている感覚の揺らぎに着目し、それをデザインしていくソリューションである『Humanity Thinking』を開発したのです」

全部で50個のtips情報をカードに散りばめたHUMANITY TIPSは、感覚のズレやゆれを、アクリルの質感で表現しています。「アクリルの中にビジュアルを浮かせることにより、Humanity（人間性）という感覚を特別なものとして扱い、その先の可能性を感じられるデザインに仕立てた」とHuman X メンバーのアートディレクター・伊勢山は話しました。

「先ほどの『ビールのおいしさを増幅させる音楽』は、TIPSのカードに記された音と味覚の関係性にまつわる、ソニック・シーズニングの研究に由来するものになります。このように、研究と実生活が乖離するのではなく、お互いが結び合って、うまく活用しながら一緒にものづくりをしていきたいと私は考えています」

言語以外の方法で相手の思いを理解するには「Humanity」が鍵を握る

続いて、各登壇者を交えたディスカッションが行われました。
テーマは「Humanityとは何か？」。

根源的な内容を深掘りし、有識者たちが考える多角的なHumanityの視点や人間らしさの未来について意見を交わしました。

安田：私は「言語」にとても興味があるのですが、既存の言語、すなわち既知の言語で Humanity を定義することは難しいのではないかと思っています。私たちの言語は文字の影響を強く受けています。「文字」というのは、あらゆる事象を2D化したものです。すなわちディファレンシエート（微分）し、その他の次元を捨てています。私たちは文字を使わずに話しているときですら、どこかに文字的なものが浮かびます。話だけでなく、思考も言葉を使うのでそうなります。言葉で考え、文字に左右されるのが人間の思考であるならば、思考自体が 2D 化されている可能性もある。翻って、VRがもっと日常になれば、人間の思考が変わると言えるかもしれません。

平尾：現象を何かしら伝える際に、現代の言語では「抜け落ちるものがある」という見立ては、自分も共感する部分があります。一方で、人間は思考するのに言語を使うので、どうしてもその問題から逃げるのは難しいと思っていますね。
新しい伝達手段や言語を探求していく上でも、起こっている現象を何か別の方法で伝えようとする限り、何かしらの変換や接地が必要になります。それを現象の数だけ用意するために2次元から3次元に拡張すれば、確かに可能性は広がっていきますが、やはりいずれは接地問題が起きると思うんですよ。

吉田：言葉で表せないものの伝達を考えると、人ごとに価値観が異なるので解釈の複数性がありますよね。「相手が何を考えているのか」を想像するときには、そもそも相手も自分と同じように考える存在なのか、言い換えれば「人間性を感じられるか」も重要な要素だと思います。

AIは相手への"気遣い"を考慮できないため、信頼と期待の醸成に繋がらない

鳴海：皆さんのお話を聞いていて、Humanityにつながると思ったのは、自動運転の話なんですね。高速道路の合流時に人間は瞬間の判断でスムーズに合流できますが、今の自動運転技術ではなかなかうまく合流できない。それはある種、お互いの空気を読んで、合流していると言えるわけです。
一方、二人の人が一つのアバターを操作する融合身体という研究をしていると、すごく面白いところがあって。例えば、先生と学習者を融合させて、左右の手で別々の図形を描くみたいな練習をさせるんですよ。最初は難しく感じますが、練習していくうちに慣れてきて、次第にできるようになっていきます。

その時、何が起こるかというと、学習者の動きは先生の動きと同じにはならず、むしろ相手の動きの特徴を補完するように“ずれ”が生じるんです。実は先生の動きを学習させたAIと学習者が融合してもこれは起こらないんです。人と人だからこそ、間合いを読みあい、無意識にお互い調整していくような、言語化や数値化できないプロセスがあることが示唆されます。
人間は個体として存在しているというのが現代的な見方だと思いますが、実際には他者との関係で現れてくるネットワークだと捉えることもできるわけです。今のAIはほとんどが単独で機能するものですが、人同士の独特の間合いや駆け引きを実現できるAIという視点はまだあまり追求されていないと感じています。人の関係のような複雑なものを一旦は複雑なまま受け入れて、どうネットワークが変わるのかを理解しながら狙った機能を生めるかが大事になってくるのではないでしょうか。

平尾：それで言うと、VR空間で人の行動や意図を汲み取ってシステム側が反応することと、AIが人間のHumanityを理解して気遣いできるようにするという考え方にはギャップがあるのではと思うんですが、その辺りについて吉田さんはどんな所感をお持ちですか？

吉田：先ほどの自動運転車が高速で合流できない問題の考え方の１つは、人とAIがお互いのことを“同質的な相手”として見なせていないことだと思うんです。人間のドライバー同士では「相手は今こういうふうに考えるだろう」という他者モデルによって譲り合いや阿吽の呼吸を実現しますよね。物理的にはできるはずでも、人とAIではまだ合流ができないのは、お互いの思考プロセスが想像できていないから。単なる行動予測ではなく、同質的な相手であるという信頼が生まれるところに至っていない、という考え方もあるのではと考えています。

平尾：でも、相手への気遣いや信頼に対する情報を機械学習で大量に数値化できるようになった未来には、Humanityの要素がなくなるとも限らないわけで。

吉田：私自身の研究テーマはAIによって空間をかしこく、人によりそう存在にすることなのですが、ひとつ言えるのは、空間知能の発達や空間の身体の研究が進んだ先には、「（人が空間知能を）仲間として認識してあげられるかどうか」が肝になってくることでしょうね。

鳴海：知能という問題とは別に「この空間に身を置いたら緊張する」とか「空間の雰囲気から自然と背筋を正してしまう」という場所はあると思うんですよ。

安田：空間の主体化でいえば、まず能の舞台自体が陰陽の考えで作られています。そして能の舞というのも「陽」と「陰」をひたすら繰り返す動きです。陰陽を繰り返すことで、自分の体内の陰陽のバランスを整えていくわけです。

金：人間同士で空気を読んだり、感じたりするという話題が挙がりましたが、自分でも言うのもあれですけど、私は他人の空気を読めるんですよね（笑）。

なぜかというと、自分の中を自分で考察したことがあるんです。韓国から日本へ来た頃、最初は本当に日本語ができなかったし、周りが何を言ってるのかも分からなかったし、自分のこともうまく伝えられなかった。
そんななかでも、コミュニケーションを前へ進めていくうちに、相手の意図や意思みたいなところを、言語だけではなく相手の表情や仕草など、体で感じ取れる全ての情報から必死に対話しようとしていたのを、今振り返ればやっていたなと。日本語ができないからこそ、その経験が積み重なって、空気を読めるようになったような気がするんです。

クロスモーダルが人間の感受性を高めるトリガーになる

鳴海：「感覚の感受性」みたいな話でいくと、博報堂のHuman Xチームとクロスモーダルビールのプロジェクトをすすめている際に、ある取材でとても面白い経験がありました。

先方の行きつけのクラフトビールバーでの取材だったのですが、店長に「今日はクリーミーさが増す曲、炭酸感が増す曲、喉越しが強くなる曲を持ってきたので、それぞれに合うビールを出してください」と伝えたんです。普段は同じビールを飲んでいても味が変わる曲ですよということを狙って作った曲です。対して、例えば喉越しが強くなる曲を聞きながら、セレクトしてくれたビールを飲むと、店長の言っていることがよく分かるんですよね。曲の効果を使うことで、そのビール本来の特徴が際立ってわかりやすくなったわけです。

普段から我々がVRやクロスモーダルの研究をしていると、例えばサクサクの食感に聞こえる音を聴きながら食べさせると、湿気たものでもおいしく感じるということになります。でもそれはある意味で、食品偽装なのではという捉え方もあります。逆に、先ほどのような使い方は、微細な違いを感じやすくする、感覚の感受性の増強ですよね。それを経験したことで、クラフトビールバーの店長の持つ繊細な感覚や感性が、あらためてすごいものだとも感じられました。

店長からも「音があることで、味わいの楽しみ方が増えるし、自分の感受性が増強されたことによって、今まで感じられなかったものがわかるようになった」と言ってもらえたので、非常に興味深い体験だったなと感じています。
そういう意味で言うと、「実はクロスモーダルが人間の感受性を高めている」といいう新しい文脈を与えることで、できることの可能性が広がるし、社会に対する訴求も違ってくるのではと思っていますね。

金：すごく示唆に富んだお話で、クロスモーダルビールの新たな側面に気づくきっかけになりました。私もこの研究を進めていくなかで、「こんなにビールをじっくり飲んだことがなかった」と言われるのが印象に残っています。
同じビールを飲むという体験でも、おいしさを増幅させる音楽を聴きながらビールを味わうことで、より自分の感受性や時間的な濃さを深めていくことにつながることを実感しましたね。

イメージを想起させる音から引き出される「脳内イマジネーション」や、身体感覚を研ぎ澄ませる「ゾーン」の可能性をもっと知っていくと、さらなる研究の成果が得られるかもしれません。

安田：感受性を高める話が出ましたが、駒込に六義園という庭園があります。5 代将軍綱吉の時代に作られた庭園で、ここは武士たちの脳内 AR を訓練する場なのです。六義園には88個の石柱があります。今は16しか見えないんですけども。
この石柱には、たとえば「出汐の湊」という語が書いてある。それを読んだ人には「和哥の浦に月の出汐のさすままによるなくたづの声ぞさびしき」という和歌が浮かび、それを脳内で映像化することが期待されている。夜になって月が出て潮位が上がってくると、浜辺にいた鶴が鳴きながら空を飛んで行くという和歌です。
その脳内の映像に、いま目の前にある「出汐の湊」の景色を重ねる練習をする、それが六義園です。それが 88 個あるのです。私はこれを脳内ARと呼んでいます。
江戸時代の武士たちは政治・経済・文化などあらゆるものを担っていました。十年、百年先の未来を漠然と見るのではなく、はっきり見ることが求められていた。それを見る練習をするための場が六義園なのです。

鳴海：少し話は変わりますが、実は最近マインドフルネスとクロスモーダルに関する研究が増えているんです。集中すると特定の感覚だけに注意を向けられるようになるらしいんですよ。

交差・反発錯覚というのがあって、左右からボールが飛んで来るような映像で、ぶつかっているようにもすれ違っているようにも見える時に、交差する時に音を提示するとぶつかって見えると言う人が増えるわけです。でも、マインドフルネスの状態に入った人に見せると、音と映像を別々に捉えるので、音を出してもすれ違っていると見えるそうです。マインドフルネスによって特定の感覚に注意を向けないことで通常とは違った五感や身体の感じ方を体験できるというのは、普段は統合している視覚や聴覚などが“ばらばら”になった結果、感覚が少し変わるということなのかもしれません。

平尾：その話に付け加えると、これまでは聴覚や触覚などの整った情報の足し算の話をしたと思うんです。でも実は環境の推定や知覚というのは、下からボトムアップから来るものだけでなく、頭からの予測にも影響をうけるのですよ。
ある情報が入ってきたときに、それが過去と同じような情報だったらこういう結末になったという、ある種の予測が働くわけです。この下からと上からの2つを重みづけて組み合わせているんですよ。なので、実際に入ってくる視覚や聴覚の情報よりも、自分のイメージが見えるという感覚に近いと思います。

星出：ここまで「Future Humanityとは何か」という問いを起点に、なかなか言語化や数値化できない感覚をどう表現し伝達し共有するのか、身体感覚とみずみずしい感情の関係をひも解きながら、クロスモーダルで人間の創造力はどう拡張できるのか、人間同士のやり取りで大事な間合いや感覚のゆらぎをどう考えるのか、まさに時空を超えてさまざまな角度でディスカッションすることができました。今日はここで締めさせていただきます。次回以降、終盤に鳴海先生が投げかけてくださいました「感覚の感受性」をキーワードに、Humanityの本質と未来、感覚の拡張や抑制、調律で、感受性と創造性の関係はどう変わるのか、創造力拡張のさらなる可能性を模索したいと思います。これからもクロスモーダル知覚を活用して、人間が持つ身体と感覚を拡張した未来を描き出す方法や、身体性や感情に着目したブランド開発、Human Creativityのゆくえを考えるセッションや社会実装などに取り組んでいきます。今日は本当にありがとうございました。