株式会社ベネッセホールディングス（本社：岡山市北区）とソフトバンク株式会社（本社：東京都港区）の合弁会社Classi（クラッシー）株式会社（本社：東京都新宿区）は、東京工業大学 徳永健伸研究室と協力し、自然言語処理を用いて自動で問題を作成する仕組みを実用化するための実証研究を2018年1月から開始する。
Classiは、全国約2,100以上の高校に導入され、有料利用者80万人以上（2017年12月時点）が利用する学校向け学習支援プラットフォームサービス。現在すでに、1,000以上の単元と6段階の難易度に分類された約7万の問題を提供しているが、今後Classiの利用者が拡大し、さまざまな進度の生徒が学習を繰り返すことにより、より多くの問題が必要になってくる事が予想される。自動作問が実現することで、さまざまな問題を早く大量に生成できるようになり、これまで以上に学力に応じて最適な問題を提供できるようになる。
今回の実証研究においては、Classiは問題を回答・集計するための「Classi」プラットフォームの提供、分析、実習研究の推進を行う。データを活用したアダプティブラーニングを推進している Classi は、本実証研究により、アダプティブ・ラーニングで枯渇していく問題を自動で生成することを目指す。
【実証概要】
実施時期 : 2018年1月〜2018年3月※状況により変更の可能性あり
実証内容 : 自動生成した問題についての問題品質を確認する（生徒の学力と正答率の相関）
対象学年 : 高校1年生 120名程度
実施方法 :
1. 自動で作成した問題をClassiのプラットフォーム上で配信し、生徒は問題に回答。
2. あらかじめテストで測られた生徒の学力と、問題の正解率の相関を評価。
なお、生徒に問題を出題するにあたり、事前に問題作成における専門家のチェックを行い、妥当な問題が作成されることを確認した後に実施する。
【実証研究詳細】
今回の実証研究では、英単語の意味を問う問題を自動作問するシステムを評価します。システムは下図のような問題テキストおよび選択肢を以下の流れで自動で作成する。
1. 出題者はあらかじめ用意した辞書から対象語とその意味を指定しする。
2. すると、機械がインターネット上のテキスト（著作権をクリアしているサイト）から対象語を指定
した意味で利用しているテキストを検索し、そこから問題テキストを生成する。
3. 1．で使用した辞書を使って対象語の同義語を正解として使用。
4. 問題テキストや辞書から、対象語と異なる意味を持つ語を選択し、誤答選択肢を生成。
5. 問題の難易度は問題テキストの難易度、誤答と正解の意味の近さ、誤答自体の単語の難しさで調整する。
