最新情報NEWS

自然言語処理BERTについて

2018年10月に登場して、自動言語処理でもとうとう人間を超える精度をたたき出したことで大きな話題となったBERT。

BERTを短く説明しますと、モデルはTransformerで、大規模なデータセットを使って「Masked Language Model」、「Next Sentence Prediction」という事前学習を行って、例文を読み込んで、自然言語の予想を出力するAI アルゴリズムシステムです。

BERTのモデルは、基本的ににはベースはTransformerで、それに事前学習ーーファインチューニングのプロセスを経たものです。

もともとのTransformerは文章を前から読み込むだけでしたが、一般的に文章は前向きだけでなく後ろ向きにも読んだ方が理解できるのでBERTはそれを実現しようと、Masked Language Model(MLM)を採用しています。

PAGE TOP