BERT(Bidirectional Encoder Representations from Transformers) とは、 Google で開発された、自然言語処理の画期的なAI方式となります。
BERTの特徴は、通常の自然言語処理とは異なり、どのような言語においても、 文脈を理解できるようになるところにあります。
たとえば、「魚介ではないラーメン」を解析した場合、通常のNLP(自然言語処理)では、 「魚介」「ではない」「ラーメン」と単語分離するのですが、「ではない」が 「魚介」に掛っていることは推測できない(推測するには日本語の文法を 解釈する処理が必要になる)のですが、BERTによって学習/検証をさせた場合、 特に日本語の文法解析の処理を用意していなくても、学習する文の中から、 文脈を理解できるモデルを生成することが可能になります。
現在、BERTは Google 検索システムに組込まれていて、より、自然な文章での 検索が行えるようになっています。
また、BERTは、文脈の類推にたけているため、より実用てきな会話システム などへの適用も期待されています。