AIを活用してニュース記事を自動要約する実証実験

日本テレビとNTTドコモは1月21日、AIを活用したニュース記事の自動要約システムの実用化を目指す実証実験を行い、WEB用ニュース記事の要約作業を自動化するシステムのプロトタイプを開発したと発表した。今後、実用化に向けて、日本テレビ内にて現場担当者による事前の性能テストを行う。

ドコモは2016年からAIを活用した同システムの研究開発に着手しており、文章の中から重要度の高い文章をAIが判定して抜粋したり、AIが言葉を補いながら新たに文を生成して要約したりする同システムを作成していた。

両社は2018年9月から、日本テレビが大量に保有する20万件近い過去記事データと人が要約したデータセットを同システムに学習させ、要約の精度向上に取り組むとともに、昨年5月から開始した実証実験では同システムの機能拡充やインターフェースの実装を行い、現場で使用するためのWEBアプリケーション型のプロトタイプを開発した。

今回の機能拡充においては、日本テレビの原稿制作ノウハウをルールベースで実装するとともに、タイトルに含まれる単語やユーザーが指定した任意の単語の重要度を向上させ要約結果に反映する機能など、現場の声を反映したアイデアを追加実装している。

日本テレビが運営するニュース専門サイト「日テレNEWS24」では、最新のニュースを動画とニュース原稿(全文記事と要約記事)で配信しており、特に要約記事をサイト上に表示することにより読者にニュース概要を分かりやすく伝えている一方で、ニュース記事の要約作業には人手による要約の手間が発生していり。また、要約作業には熟練したスキルが必要であるため、スタッフの育成に一定期間の研修が必要で、人員の確保も課題となっているという。

同システムは要約手法の異なる「抽出式要約システム」と「生成式要約システム」の2つの自動要約システムに大別され、各々についてプロトタイプを開発した。

抽出式では、全文原稿から重要度の高い文を抜き出して要約し、基本機能はAIを用いた文書要約機能、要約元の全文原稿から文単位でそのまま文章を抽出し、要約結果として表示する機能を有している。追加機能は、要約元原稿のニュース記事のタイトルやユーザーが指定した任意の単語を重要語として判定し、要約結果に反映する機能、要約結果が要約元原稿のどの文章から抽出されたのかをトレースする機能、あらかじめ設定した上限文字数内で要約を生成する機能を持つ。

生成式では、全文原稿からの抽出だけでなく、言葉を補いながら新たに文を生成して要約し、基本機能はAIを用いた文書要約機能、要約元の全文原稿を参考に重要な文を抜き出して新たな文書を生成する機能となる。追加機能は要約元原稿のニュース記事のタイトルやユーザーが指定した任意の単語を重要語として判定し、要約結果に反映する機能、要約結果が要約元原稿のどの文章から生成されたのかをトレースする機能、あらかじめ設定した上限文字数内で要約を生成する機能、起承転結を考え、必要な接続詞などを選択・生成する機能を有する。

なお、同システムの基盤となる技術にはNTTドコモ北京研究所(北京研)の自動要約技術を用いており、北京研がAI技術を使用して独自開発したニューラルネットワーク(DNN:Deep Neural Networks)により実現されており、既存技術と比較して重要情報の網羅性を高めただけでなく、必要な接続詞などを選択・生成することにより読みやすい文章を生成するという。