Concept Encoder

「単語や文書のベクトル化」でヘルスケア領域の自然文を数値化して解析。

文章を読む際に単語の単独での意味だけではなく、周りに出てくる単語の意味や位置も一緒に考えながら理解し、

文書内の文章の形態素の構成をまとめて解析できます。

特徴：

①EBM（根拠に基づく医療）を実現

医療・ヘルスケアの分野では、根拠のない間違った情報に基づいて行った対応が、ときに健康に重大な不利益をもたらす可能性があるため、正しい情報を慎重に選択しなければなりません。だからこそ、ヘルスケアの領域では EBM（Evidence-based Medicine ＝根拠に基づく医療）が重要となります。Concept Encoderは、EBMを重視し、結果を出す過程をブラックボックス化をしないために、「客観性」（他の人も理解・納得できる）、「透明性」（結果を出す過程が明らか）、「再現性」（他の人がやっても同じ結果が出る）を実現します。

②文書内の単語の共起を学習して、ベクトル化

Concept Encoder は、形態素解析、すなわち複数の文書間での形態素（言語で意味を持つ最小の単位）の出現頻度を評価する解析法のうち、「単語と文書のベクトル化」という手法を用いて、テキストの特徴を数値化しています。

ある単語がある文章に出たとき、その文章中に別の限られた単語が頻繁に出現することを「共起」といい、ベクトル化はこの共起関係を行列で表すことで数値的な解析を行います。つまり、共起関係を数値で表し、明らかにすることにより、言葉の意味を定義しなくても、関連性や重要性の差を見つけることができるようになります。

③単語の共起・構成と、文書内の文章の形態素の構成をまとめて解析

Concept Encoder は文書内の単語の共起を学習して、ベクトル化を行うところから始まります。通常のベクトル解析では、文章と単語を別々に求めたうえで、関連性を求めるという手法が取られることがありますが、Concept Encoder では、単語の共起・構成と、文書内の文章の形態素の構成をまとめて解析できます。FRONTEOは、この技術で特許を取得しています。さらに最後に学習と最適化を行います。

④見つけたい文書をタグ付けして、重要であることを学習

見つけたい文書をタグ付けして、重要であることを Concept Encoder に学習させることで、その文書に高いスコアがついて、上位に来るような最適化を行います。