うごく基本情報

「Webクローリング」とは

プログラム(クローラ)がリンクをたどってWebページを自動で集めて回ること。

新シラバスで加わった分野(AI・データ・UXほか)の用語

  • 2次データ他の目的で、他の人がすでに集めたデータを使うもの。例:官公庁の統計。
  • 構造化データ表のように、項目と形式が決まっていて整理されたデータ。関係データベー…
  • 非構造化データ文章・画像・音声・動画のように、決まった形式を持たないデータ。
  • 時系列データ同じ対象を、時間の流れに沿って記録したデータ。例:毎日の気温、月ごと…
  • クロスセクションデータある1時点で、複数の対象について集めたデータ。例:ある年の都道府県別…
  • スクレイピングWebページなどから、必要な情報だけをプログラムで抜き出すこと。
  • データレイクさまざまな形式のデータを、加工せずそのままの形で大量にためておく保存…
  • データのサイロ化データが部署やシステムごとにばらばらに管理され、組織全体で共有・活用…
  • 名寄せ複数のデータに分かれている同じ人や同じものの情報を、1つにまとめるこ…
  • 外れ値他のデータから大きく外れた値。入力ミスのこともあれば、重要な異常のこ…

この分野の用語をすべて見る