京都大学 学術情報メディアセンター 大規模テキストアーカイブ研究分野

言語資源 English

言語処理や人工知能への応用を目的として、様々な言語資源を構築しています。 以下に簡単な紹介と詳細ページへのリンクを掲載します。 配布版は最新でないこともあります。 最新版を入手したい場合やデータ作成にご協力頂ける場合は著者にご連絡頂ければ幸いです。

単語係り受けコーパス

日本語の係り受けコーパスを作成・公開しています。 単位は、多くの言語で標準となっている単語としています。

現在、ブログなどを含む様々な文章に対して約35,000文のアノテーションがあります。 付与されいてる情報は以下の通りです。

このデータで学習した係り受け解析機 EDA も公開しています。

手順書のフローグラフ

手順書の意味をフローグラフ(非巡回有向グラフ)で表現することを提案しました。 手順書の代表としてサイトや書籍が最も豊富なレシピを採用しました。 8種類の重要語を定義し、その関係を非巡回有向グラフ(DAG)で表現します。 実際にレシピに以下のアノテーションを行い、公開しています。

なお、食材をパーツに置き換えることで、一般の手順書に対応できます。 ご興味のある方は詳細をご覧ください。

このデータで学習した固有表現認識器 PWNER も公開しています。 また、フローグラフ生成ツールも構築中です。

UniDic++(仮)

形態素解析器(単語分割・品詞推定)のための追加の辞書です。 特許や医療、レシピなどのさまざまな分野のテキストから単語を収集しています。 多くの単語には文脈情報も付いているので、形態素解析精度の向上により有効です。

このデータを反映した形態素解析器(単語分割、品詞推定、読み推定) KyTea を配布しています。

ゲーム解説コーパス

将棋の盤面とそれに対応する解説からなるコーパスです。 解説の文は、単語分割に分割され、将棋用語タグが付与されています。 将棋用語は、独自に定義した21種類です。

さらに、モダリティ表現のアノテーションも行った。 モダリティ表現は、否定や推量、仮定などの情報発信者の態度の表出であり、 実世界(盤面)を参照しつつモダリティ表現を解析する研究の題材となる。

このデータを反映した形態素解析器(単語分割、品詞推定、読み推定) KyTeaPWNER と 自動用語認識器を配布しています。

モダリティー解析モデルは現在構築中です。

Japanese Wikification Corpora

テキストを外部知識と関連づける Wikification のためのコーパスです。 BCCWJ に加えて Twitter のテキストに対してもアノテーションしています。 より多様なテキストに対する Wikification の研究に役立つと考えられます。

これを用いた Wikification のツールも開発中です。

京都大学大学院情報学研究科の村脇有吾先生との共同研究です。

その他の言語資源





Last Change: 2016/04/14 by Shinsuke MORI
京都大学 学術情報メディアセンター 大規模テキストアーカイブ研究分野