“ビールのおいしさを増幅させる音楽”はいかに開発されたか？
五感の相互作用「クロスモーダル知覚」の可能性
【開発者によるトークセッションレポート】

本稿では、2022年7月23日に本屋B&Bで開催されたイベント「鳴海拓志×金じょんひょん×中川紀彦【ビールのおいしさを増幅させる音楽】開発トーク」の模様をお届けします。本イベントは、「おかげさまで10周年！ 本屋B&Bから愛と感謝のオールナイトパーティー」のオープニングトークとして実施されました。会場では、実際に今回開発された音楽をヘッドホンで聴きながらビールを味わえる体験会も行われました。

人間の五感は、実は相互に影響をおよぼしている

中川
本屋B&Bでイベント企画を担当する、博報堂ケトルの中川です。今回は、クロスモーダル知覚を研究されている鳴海先生と、博報堂Human Xチームのリーダーを務める金じょんひょんさんにお越しいただきました。
金さん、まずHuman Xプロジェクトについて簡単に教えてもらえますか？

金
Human Xは、2018年に発足した博報堂ブランド・イノベーションデザイン内のチームで、五感の相互作用であるクロスモーダル知覚を活用したプロダクトやサービス開発を模索してきました。
この活動の背景には、生活者の感覚や感情に働きかける豊かな体験が求められている、という流れがあります。これからのデジタル時代に、ブランドが生活者から選ばれて長く関係を続けるためには、感覚も含めた新しいブランド体験が必要だと考えています。すでに、視覚や触覚、味覚などの異なる感覚を組み合わせた複数のプロダクトを実現しています。
その中で、今回新たにスタートしたのが、クロスモーダル知覚がブランド体験にどう生かせるかを探る活動「Human X Experiment」です。クロスモーダルインターフェース研究を先駆的に続けられている鳴海先生と協働体制を組んで、進めることになりました。

中川
その第一弾が、「おいしさ×聴覚」の研究で“ビールのおいしさを増幅させる音楽＝クロスモーダルビア”を開発した、と。

この開発では、クロスモーダル知覚を活用して、聴覚によって特定の味覚を増幅させることにチャレンジしました。実は私も博士課程でクロスモーダルを研究していたんですが、その中で「音とおいしさ、音と食は関連が深い」という先行研究に注目していました。その良さを生かして、わかりやすく納得性のある音楽をつくれないかと思って企画しました。
具体的には、それぞれビールの①クリーミー感を増幅させる音楽、②ソーダ感、炭酸感を増幅させる音楽、そして③のどごし感を増幅させる音楽、の3種類を開発しました。同じビールを飲んでいるのに、音楽が変わると不思議と味わいが変わってくる……というものです。実際のサウンドクリエーションは、音を主軸にさまざまな制作を重ねているインビジチームに担当いただきました。

まずはこちらの動画をご覧いただければと思います。

中川
鳴海先生、そもそも「クロスモーダル知覚」とは何なのでしょうか？

鳴海
人間の視覚や聴覚、触覚や味覚などは独立していると思われがちですが、実は相互に影響しています。私たちはいろんな感覚からもたらされる情報をもとにイメージをつくって、それに近い感覚を得ようと、感覚を補正したりするんですね。例えば風鈴が下がっていて、風が吹くとちりんと音がする。すると、その音を聞いただけで風が吹いたように涼しい気持ちになる、みたいな。
食事にしても、味だけでなく、雰囲気や盛り付け、香りの演出の仕方などが「おいしさ」に実は大きく影響しています。なので、それらを演出すれば味の満足感も変わりますよね。そんな働きのことを、クロスモーダル知覚と呼びます。

中川
お酒も、グラスや酒器が違うと味わいが違うといいますね。

鳴海
そうですね。実は、手で持ったときに感じる重さとかも重要なんです。例えばヨーグルトを試食してもらうとき、重いスプーンだと相対的にヨーグルトが軽く感じるので、味も薄く感じる。逆に軽いスプーンだとヨーグルトをすくったときに“ずっしり感”があるので、ちょっと濃厚に感じたりするんです。

高音の音楽を聴きながら、苦い漢方を飲むとどうなるか

中川
おもしろいですね。今回の3つの音楽は、リズムや使われているサウンド、効果音などが異なっていますが、何をベースに考えていったのでしょうか？

鳴海
「音」に関しては、いくつか科学的にわかっていることがあります。例えば「感覚間一致」といって、音から皆が同じような図形をイメージしたりするんです。トゲトゲの図形と曲線の図形、どちらかの名前が「ブーバ」でどちらかが「キキ」というと、日本でもアメリカでもアフリカでも、国を問わず「トゲトゲがキキ」という人が7～9割もいるんです。これは「ブーバ・キキ効果」と呼ばれています。理屈はわかっていませんが、トゲトゲを見たときと、キキという音を聞いたときとで、脳の中で処理される仕方が似ているからしっくりくるのでは、と言われています。
「黄色い声」という言葉がありますね、女性の「キャーッ！」といった高い歓声を指しますが、高い声＝黄色というイメージだったり、逆に低い音＝暗い色というイメージがあることがわかります。そうした先行研究で分かっている部分をベースにしています。

金
低い音は、苦い味とも結びつきやすいんです。実際に、苦い漢方を飲みながら高音の音楽を聴いたら、たしかに苦みが減った感じがありました。

中川
そうなんですね。音域と、味の種類が関連する？

鳴海
はい。だいたい250ヘルツなどの低音が苦み、500ヘルツくらいが甘味に関連していて、1000ヘルツを超えるくらいの高音は酸味に結びついています。また、ピアノやフルートでなめらかに連続する旋律だと、甘味に紐づきやすいなど、音域だけでなく曲調も影響しますね。
これらの基本的なパラメーターは、なぜそうなるかの理屈は解明されていませんが、海外ではすでに「多感覚マーケティング」として実用段階に入っています。知人がかかわっている施策で、ビールの缶を開けるときの「プシュッ！」という音が気持ちいいと、購買体験のうれしさやおいしさに影響するとして、開発に一定額を投じていたりします。ただ、日本では研究は進んでいるものの、まだ産業や応用に発展しておらず、悔しいと思っていました。
なので、今回のプロトタイプの開発には可能性があると感じています。特に、これまでは「トゲトゲ＝キキ」のように1対1対応のような研究が中心でしたが、今回は飲むビールは同じで、音楽のほうで時間経過を加味して曲調を変化させ、感覚に影響を与えようとしている。その点に、新規性があると思っています。

クリーミー感を増幅させる音楽は、甘味を引き出す

中川
私も3種類の音楽を聴きながら、実際にビールを飲んでみたのですが、たしかに味わいが変化したように感じました。クリーミー感の音楽だと、麦の甘味が印象に残りましたね。炭酸感のほうは、パチパチという音が入っていますか？

金
そうですね、本当の炭酸のパチパチッという音と、爆竹の音を掛け合わせています。力を入れたことのひとつとして、今回「ASMR」を取り入れているんです。ASMRは咀嚼音とか、紙をくしゃくしゃっとする音などの、ディテールのある音のことを言いますね。今回だと、クリーミーなり、のどごしなり、ビールを実際に飲んでいるときの音を音楽にしてその感覚を増幅させながら、全然ビールと関係ないけれどそれを想起させる効果音を組み合わせています。

鳴海
ASMRや咀嚼音は、YouTube動画でもかなり流行っていますよね。ただ、科学ではほとんど研究されていません。脳の状態は調べられても、そもそもそれが何なのか、どういう条件で起こるのかはわかっていません。
ただ、やはり過去の経験に依存している部分が大きいですね。で、経験や記憶にあるものを、いかに解像度高く引っ張り出してこられるかが肝だと思います。……そのあたりは僕もお手上げで、インビジさんがとても配慮して組み立ててくださったと思います。

中川
味を、音でデザインするようなものですよね。それはデータに基づいて？

鳴海
いえ、ほとんど作曲家の方のインスピレーションによりますね。僕のほうで音域やテンポ、音の雰囲気など、科学的知見をもとに探索の手がかりを示しましたが、それらのパラメーターを紐づけるのがうまい。苦みなら苦みにいちばんしっくりくる音になっていて、音の探索の仕方がやはりプロだと思いました。
もちろん、最初に上げていただいたものをもとに皆で話し合い、さらにブラッシュアップしてもらって完成に漕ぎつけましたが、その際もむしろ僕より、金さんや博報堂チームの方々の突っ込みのほうが的を射ていたかもしれないです。科学的な見方にとらわれず、ニュートラルに評価してくれていたので。

中川
なるほど。例えばどのような？

金
インビジチームも含めて「効果の有無の前に“いい曲”として成り立つのだろうか？」というディスカッションをしていたので、スッと入ってくるわかりやすい音かどうか、などは改めて議論したりしましたね。科学的な観点はさておいて、体験として気持ちよいかどうかも見直しました。たとえば、“ごくごく”という飲むときの音は男性ではなく女性寄りだとどうだろうか、といった細かい調整もしました。
また、ASMRを取り入れてみようとなったものの、一般の方々の間で流行っているものは動画と組み合わさっているので、視覚ではなく聴覚だけでおいしさを増幅する体験として成立するのかという懸念はありましたが、チームのみんなで力を合わせて作った結果、かなり体感性の高い音楽になりました。一般の方に試していただいた反応を見ても、いろんなおいしさが感じれた等多くのコメントをいただき、よい着地になったと思います。

科学的知見×サウンドクリエーション技術で開いた可能性

中川
今日も会場内（本屋B＆B）に体験コーナーを設けていますが、今回のプロジェクトを音源とともに5月に発表してから、どんな反響がありましたか？

金
「食感や味わいが変わった」という声がありましたね。特にヘッドホンで聴くと没入感があるので、効果を感じやすいようです。苦くなったりしゅわしゅわになったりおもしろかったとか、自分がビールになって飲まれてる感じだとか、音楽につられてたくさん飲めた、炭酸水を飲んでてもビールの気分になれたとか。自分の感覚を絵にしてTwitterに投稿してくれた方もいました。。

中川
改めて今回のプロジェクトの手ごたえと、今後の展望をうかがえますか？

鳴海
感覚の研究、しかも今回のような価値判断にかかわる研究が難しいのは、人間の判断軸が単純ではないからなんです。人間の判断には3軸あるといわれていて、ひとつは甘くなった、苦くなったとかの感覚に基づく判断、2つ目は「価値」をどれくらい感じたかという主観に基づく判断、3つ目が「買うか、買わないか」の経済的な判断です。
例えば、僕はチョコレートの味を同じように音で変化させる研究をしていますが、日本のミルクチョコとベルギーのちょっと苦いチョコがあるとき、味で選ぶ人もいれば「苦みこそベルギーチョコの“価値”である、だから買う」という人もいて、一律に音を作用させるのは難しいんです。
ですが今回は、かなり体験をそろえられたと思うんですね。甘味や苦みの好みはあれど、クリーミー感やのどごしの有無や強弱は、わりと皆が感じることができる。前述の3つの軸が込み入らずに設計できた点は、マーケティングに今後応用していく意味では重要だったと思います。同時に、ビールという嗜好性が高いものを扱うことで、人の嗜好性とは何かという深淵に踏み込んだ第一歩にもなったのでは、と。ビールを飲むとき、科学的なことを考える人は少ないでしょうが、なぜビールを飲むと楽しいのだろう、どんな曲とならもっと体験が豊かになるだろうと考えると、科学と向き合うきっかけにもなります。それはすばらしいことだと思いますね。

中川
ビール以外にも、飲み物や食べ物などいろいろな食感・触感でペアリングができそうですよね。金さん、ビジネス的にはどのような知見や視点が得られたでしょうか？

金
今回は一般の方々からもポジティブな声を多く得られ、科学的知見とサウンドクリエーションの技術のコラボで、手ごたえのあるプロジェクトになりました。
研究領域ではすごく可能性のある知見が発表されていても、なかなかそれ自体が世の中にアピールされたり、その知見が体験へと生かされたりすることが多くありません。今後はもっとそこを深掘りして、説得力のある体験を設計し、生活者にとって気持ちがよくてビジネス面でも効果の裏付けがあるような事例を生み出していきたいですね。それによって、生活者が楽しく豊かなブランド体験ができる機会が増えていくよう、チャレンジしたいです。