THE CENTRAL DOT

【博報堂DYグループのAI技術】vol.1-<単語分割>「自動で会話するチャットボットサービスの実現のため、自然言語処理技術を研究して論文まで書きました」

2017.04.14
#AI技術
博報堂DYグループのAI技術は日々進化をしています。クライアント企業へ提供できるサービスにするため、日夜研究開発を行う担当者に、そのAI技術の内容と開発秘話についてインタビューしていきます。

 初回は、チャットボットサービスで利用する「単語分割」の技術を開発した、研究開発局の藤井主任研究員に話を聞きました。

 「広告会社に入ったはずが、学生時代のように研究漬けの生活を送ることになりました」。研究開発局の藤井遼主任研究員は笑って振り返る。

 藤井が書いた論文は、「単語分割」の技術に関するものだ。単語分割とは、例えば「今日の天気は」といった文章があった場合に、「今日」「の」「天気」「は」といった具合に文章を単語に分解する技術である。

 単語分割は日本語など単語の切れ目がない言語で書かれた文章を人工知能で認識する際に有効な技術である。英語のように単語の切れ目が自明な言語では必要のない技術のため、米国など人工知能研究が進んでいる地域でも研究が進んでおらず、先進技術に頼ることが難しい。

自ら単語分割の研究をすることになったきっかけは、博報堂の100%子会社であり彼自身も籍を置いているSpontena.LLCが、「チャットボット」と呼ばれるビジネスを手掛けているからだ。チャットボットとは、人工知能を搭載したロボット(ボット)が利用者と自動で会話(チャット)するプログラムだ。

Spontenaがチャットボットのサービスを展開するにあたり、「単語分割」の技術開発は避けて通れない課題だった。「一般の生活者は、普通の文章では漢字を使う場合が多いような言葉でもLINEを始めとするメッセンジャーツール上ではひらがなで書いたり、語尾が流行り言葉になったりと、くだけた日本語を使いがちです」(藤井)。ただ、こうした課題に対応できる単語分割技術は、チャットボットサービスへの進出を決めた2014年当時には無かった。

研究開発局の藤井の所属する部署は消費者データやメディアデータなどの分析を担当していた。通常の業務だけでなく、最先端の分析技術をキャッチアップし、必要なものが世の中に無ければ自ら作ろう、という文化があり、技術的な素地のある理系出身者が多く在籍している。

藤井は大学時代に自然言語処理をテーマに研究しており、単語分割についてある程度知見があった。そのことを部の上司・同僚も知っていたため、チャットボットサービスの単語分割には、藤井が対応することになった。

くだけた日本語に対応できる単語分割技術について様々な文献を調べたところ、「統計数理研究所の持橋大地先生が書いた論文であれば問題を解決できそうなことが分かりました」(藤井)。その論文について上司に報告したところ、「上司は『よさそうじゃん。じゃあそれ作って』と軽く言いました(笑)」(同)。

 論文は技術そのものについて書かれたものなので、実際にサービスとして提供する場合には技術をプログラムに落とし込まなくてはならない。藤井は「『そんなに簡単な作業じゃないんだけどな』、と思ったのですが、上司から『できるの?できないの?』と迫られ、負けず嫌いの性分から『出来ます』と言ってしまいました」と語る。

頑張りの結果、開発は当初順調に進んだ。だが、途中である困難に直面する。「論文に書いてある通り計算をしても、どうしても正しい結果が出ないんです」(藤井)。そこで、徹底的に論文を調べるうち「一部の計算式に誤りがあることに気が付きました」(同)。

 再び上司に相談したところ「『そういうことを見つけた場合、普通どうするの』と聞かれました。『間違いを指摘して修正論文を発表するとかですかね』と答えたところ、『じゃあそうすれば』と言われました」(藤井)。そこで、藤井は論文の原著者の持橋先生に会いに行く。30分程自身の考えを説明したところ、「持橋先生から『君が正しい気がする。共同で研究しましょう』と言っていただきました」(同)。

そして、藤井は冒頭の大学生のような生活を送ることになった。一度実行すると数日結果が得られない実験をしては、半月から1カ月ごとに持橋先生と議論することを繰り返したという。

様々な苦労を乗り越え、見事正しい結果に辿り着く。持橋先生と共同で作成した論文は、2016年2月に開催された日本の言語処理学会で発表した。その後、国際的な論文誌であるTACL(Transactions of the Association for Computational Linguistics)にも受理された。

受理された論文(一部)

 今回開発した単語分割技術は、既に大手配送サービスのチャットボットで実際に使われている。ユーザーはチャットボットとの会話により、再配達の依頼や配達時間の指定などが行える。

今後のチャットボットサービスについて「ユーザーが漠然とした問題を抱えている場合でも、会話しながら問題を引き出し、解決策を提示するようなサービスにして行きたいです」と語る。

単語分割技術には、将来的にどのような発展が⾒込めるのだろうか。
藤井は「チャットボットのようなアプリケーションは、多様なユーザと接しながら、多様なドメインの問題を解決できる可能性があります。現在の分かち書きは単一の言語モデルに従って動作しますが、今後これをドメインやユーザに適応できる柔軟性を持たせていきたいと考えています」と、締めくくった。

藤井 遼
博報堂 研究開発局
博報堂DYホールディングス マーケティング・テクノロジー・センター
Spontena, LLC.
主任研究員

1985年生まれ。研究開発局/マーケティング・テクノロジー・センターで生活者データ分析やデータドリブンなマーケティングソリューションの研究開発を担当。Spontenaでは大学での専門を生かし、チャットボットの要素技術として自然言語処理を用いた様々な研究開発を行っている。

FACEBOOK
でシェア

X
でシェア