うごく基本情報

「形態素解析」とは

文章を、意味を持つ最小の単位(形態素)に区切り、品詞などを判定する処理。自然言語処理の最初の段階。

新シラバスで加わった分野(AI・データ・UXほか)の用語

  • 拡散モデル画像に少しずつノイズを加える過程を逆にたどり、ノイズから画像を作り出…
  • 言語モデル単語の並び方の確率を学習し、次に来る単語などを予測するモデル。
  • 大規模言語モデルLLM。膨大な文章で学習した、とても大きな言語モデル。質問への回答、…
  • 自己教師あり学習データの一部を隠してそれを当てさせるなど、データ自体から正解を作って…
  • プロンプトエンジニアリング生成AIから目的に合った出力を得るために、指示文(プロンプト)の書き…
  • 意味解析構文解析の結果をもとに、文の意味を正しく解釈する処理。
  • 文脈解析複数の文のつながりから、「それ」が何を指すかなど、文脈上の意味を解釈…
  • 係り受け解析文の中で、どの語がどの語を修飾しているか(係り受け)の関係を調べる処…
  • n-gram文章を、連続するn個の文字(または単語)ずつに区切ったもの。全文検索…
  • 特化型AI画像認識や翻訳など、特定の作業だけをこなすAI。現在実用化されている…

この分野の用語をすべて見る