TOEFLのライティング練習にも使える英作文の自動添削サービスが凄い

ビッグデータ

ケンブリッジ大学の学内誌に掲載されたビッグデータ特集の中で、コンピュータによる英作文、英語スピーチの自動添削技術が紹介されていました。

この技術を使った添削サービスは、すでにベータ版としてオンラインで公開されています。

今回の投稿では、この技術の概要と、実際にベータ版を試した感想をレポートします。

20年分の試験結果から得られたデータセット

この技術を開発しているのは、ケンブリッジ大学のコンピュータ研究所 (Computer Laboratory)に所属するテッド・ブリスコ (Ted Briscoe)教授の研究チームです。

ケンブリッジ大学の学内誌『Research Horizo, Issue 27 (2015)』によると、ブリスコ教授らはまず、毎年500万人以上が受けている英語試験の20年分(6500万語!)の回答を集めました。

その後、それらの回答とその評価を、回答者の年齢や出身などとともに整理し、間違いに関する巨大なデータセットを作り上げました。

同研究チームは、この大量のデータをコンピュータに学習させ、その成果を元に自動添削サービス『Write & improve』を作りました。

このサービスは、現在も開発の途中ですが、既にベータ版が公開され、早くも20,000人以上のリピーターを獲得しているようです。

実は、この20,000人以上のサービス利用者が使う英語も、新たなデータとしてこのサービス内に随時取り込まれています。

研究グループによると、この自動添削システムは、経験のある人間の教師に負けないくらいの正確さで、英作文を評価してくれるとのことです。

ベータ版の使い方を紹介

添削サービス『Write & improve』のベータ版が既にオンラインで公開されているということで、その利用方法を同サービスの公式サイト上にあるYoutube動画をもとに解説していきます。

(1)ユーザー登録

本システムを利用するには、まず最初にユーザー登録が必要です。登録には、フェイスブックのログインアカウントを使うこともできます。

もちろん、フェイスブックでのログインとは別に、名前やメールアドレスなどを入力して登録する方法も提供されています。

writing1

(2)英作文のお題選択

ログイン後、国籍などを入力し、さらに英作文を書くためのお題を選びます。国籍は、各国で独自の間違えやすいパターンなどを添削に反映するために入力するようです。

お題は、現在提供されているものを抜粋すると、以下の様なものがあります。

  • 作文:公共交通機関に未来はないのか?
  • レポート:私の街は環境問題に対してどのように取り組んでいるか?
  • レビュー:学生クラブ向けの映画レビュー
  • 記事:あなたの国にある歴史的な場所

2015年9月現在でお題は20個程度あり、定期的に更新もされているようですが、特に興味をひくものがなければ、「Any other topic」を選択し、好きな内容を書くことも出来ます。

writing2

(3)英作文の作成

続いて、いよいよ英作文の作成です。空欄にがんがん書いていきましょう。

キャプチャーを見る限りは、一行ずつ改行して書けば良いようです(逆に言えば、改行するべき位置なんかは判断基準に入っていないということですね)。

きちんとした採点のためには、180〜200語程度を書くことが必要とのことです。書き終えたら、画面右下にある「Save & Submit」ボタンを押して作成した文を提出します。

writing3

(4)採点結果

提出後、30秒〜1分程度で、採点結果を見ることができます。

結果は、下のキャプションにあるように、点数ではなく、緑から赤に変化するバーの中に矢印として表示されます。

緑に近いほど評価が高いということになります。

writing4

(4)フィードバック

このサービスがすごいのはこのフィードバックの部分です。自分が書いた英作文に対して良くなかった点を指摘してくれます。

指摘箇所は赤線で囲まれ、例えば、一番最初のeffectsと書いた部分は、「おそらくaffectsの方が良い。 (Perhaps 'affects' is better.)」とコメントが付けられています。

これを見る限り、冠詞もきちんと指摘してくれるようですね。

writing5

(5)文章の修正、再採点

コンピュータによる指摘を読んだら終わりというわけではありません。修正を提案された文を実際に書き直し、再度提出することができます。

再提出した英作文は、再度採点され、下の図で白で書かれた前回の評価と黒矢印で書かれた今回の評価というように、前回のスコアと比較することができます。

writing6

現状では初級〜中級者向けか?

以上が使い方ですが、僕自身使って見た印象では、単語や文法の明らかな誤りは指摘してくれるものの、文と文の意味的なつながりや、細かいニュアンスについては、良し悪しが判断できないためか、全く指摘してくれないようです。

つまり、スペリングや文法のミスが無いような文を書くと、構成がいまいちだったり、内容が意味不明でも、フィードバックが全然得られません。

というわけで、このサービスは、今のところは、初級〜中級の学習者向きだと思います。

実際に、このサービスの公式サイトを見る限り、intermediate層をメインのターゲットにしているようです。

英語の先生が不要になるわけではない

実は、このサービスは英作文だけではなく、英語のスピーキングの採点もしてくれます。

僕の場合、残念ながらブラウザが対応していないので試せなかったのですが、マイクで読み上げた英語を評価してくれるようです。

ただし、開発者自身、スピーキングの添削は英作文と比べると未だに発展途上の技術だと認めています。

Siriなどを利用している人なら知っているように、近年の音声認識技術には目をみはるものがありますが、第二言語として学習中の言葉を認識して、それを評価する技術については、改善の余地が沢山あるようです。

今後のさらなる精度向上に期待といったところです。

さて、さらに研究開発がすすめば、ゆくゆくは言語を学ぶ環境すら変えてしまいかねない技術になりそうです。すなわち、人間の先生が不要になってしまう可能性が十分想定されます。

しかしながら、開発者らによると、この開発によって直ちに人間の先生がいらなくなるといったことにはならないようです。

むしろ、開発者の一人が述べているように、この技術はこれまで先生が多くの時間を取られていたテストの採点やフィードバックをコンピューターが肩代わりすることで、先生が教える時間を確保できるようにするというのがポイントだということです。

Machines are good at dealing with routine things and large anounts of data... these tools can free up the teacher's time to focus on actual teaching.

機械はルーティンワークや大量のデータを扱うのが得意なので、こういったツールは、先生が実際に「教えること」に割く時間を増やしてくれる。

また、ブリスコ教授によると、言語というのは絶えず変化しているものなので、「これで技術が完成した。」と言えるような時は絶対に来ないだろうということです。

TOEFLの対策として使えるかも

英語のライティングやスピーキングは、リーディングやリスニングと違って、なかなか自分で自分を評価することができないので、こういったサービスのクオリティが上がってくれば、英語学習者にとっては非常に魅力的なツールになりますね。

現状でもTOEFLの受験を予定している人などは、ライティングの対策の一つとして活用しても良いかもしれません。

TOEFLのライティングもコンピュータ採点が導入されているので、このWrite & improveを通じて、コンピュータが評価する英語のくせというのを把握できるかもしれません。