音声対話用言語モデル作成

1. 発音を推定する KyTea モデルを作成する (KyTea Ver.0.2.1)

• KyTeaにデフォルトで付属しているモデルは発音ではなく読み(正確にはキーボード入力可能な仮名の列)を推定するためのモデルなので、 発音を推定するためのモデルを別途作成する必要がある

% train-kytea -full CSJ+BCCWJ.wordpron -dict UNI.wordpron -subword tankan.wordpron -model CSJ+BCCWJ+UNI.bin
KyTeaモデルファイル CSJ+BCCWJ+UNI.bin (UTF-8用)

上記のモデルは、以下の言語資源を用いて作成されています。
• 日本語話し言葉コーパス (CSJ), 人手による情報付与部分396ファイル
  
• 日本語書き言葉均衡コーパス (BCCWJ), 2009コアデータ
  
• 形態素解析辞書Unidic, Ver.1.3.12, エントリ数(単語と発音の組): 471,645
• 単漢字辞書, JIS X 0208 文字集合 6879文字, エントリ数(文字と発音の組)36,837



以下、CSJ+CWJ.wordpronならびにUNI.wordpronから例として一部を引用。詳しくはKyTeaのホームページを参照してください。
CSJ+BCCWJ.wordpron

すい/スイ　ませ/マセ　ん/ン 下/シタ　は/ワ　一/イチ　例/レー　です/デス　。/NA

(記号など、コーパスに発音を与えられていない単語の発音はNAとしておき、後で修正/除去する。)
UNI.wordpron

三条/サンジョー 餃子/ギョーザ 王将/オーショー




学習コーパスのサイズ

	文数	単語数	文字数
BCCWJ	36,316	923,378	1,447,640
CSJ	21,389	986,783	1,645,418
計	57,705	1,910,161	3,093,058




• (参考1) 上記のKyTeaモデルによる単語分割の単位はCSJ作成時点での短単位基準とBCCWJ作成時点での短単位基準が混在
• 二つの短単位基準はほぼ同じだが、詳細は各コーパスのマニュアルに記載されているのでそちらを参照のこと


• (参考2) KyTeaモデルの単語分割・発音推定精度
• CSJ+BCCWJ.wordpronを10分割し、そのうち9個(51,936文)を学習用データ、残りの1個(5,769文)を評価データとして使用
  公開中のCSJ+BCCWJ+UNI.binは57,705文全てを学習データとして使用

単語分割精度

再現率	適合率	F値
99.33%	99.38%	99.35%




単語分割+発音推定精度

再現率	適合率	F値
98.69%	98.74%	98.72%

2. 適応分野テキストを上記 KyTea で処理

• 今回は単語分割-数詞処理-発音推定の順に処理を行う
• 入出力の文字コードは全てUTF-8
• 数詞処理用のスクリプトは別途用意
• BCCWJ、CSJ上では桁読みする数値表現が漢数字に正規化されている
• このため、上記2つのコーパスから学習したKyTeaモデルではアラビア数字を正しく分割することはできない
• 「３，５００円」が「３　，　５０　０　円」のように分割された場合は「３５００　円」にアラビア数字部分を直してから「三千　五百　円」のように修正し、その後発音推定を行う
• 「２，３００」のように発音が複数考えられるものもあるので、音声認識用の学習テキストをある程度チェックする必要がある
• まず決定的に分割、未知語を考慮して今後は確率的に分割
• 少しでよいのでテストセットを作っておく (Julius用言語モデルの精度評価用)

taiwa.text (全て全角文字)

３，５００円

↓KyTea (単語分割)
temp1.word

３　，　５０　０　円

↓MergeArabicNum.pl
temp2.word

３５００　円

↓Arabic2HanNum.pl
taiwa.word

三千　五百　円

↓KyTea (発音推定)
taiwa.wordpron

三千/サンゼン　五百/ゴヒャク　円/エン



• KyTea 0.2.1では -deftag /UNK とすると未知語の読み部分にUNKが入る(ex. 東国原/UNK　知事/チジ)
• なお、公開中のKyTea(ver0.2.1)用モデルには単漢字辞書を用いた未知語の読み推定モデルが含まれるため、 -deftag オプションは不要

% kytea -model CSJ+BCCWJ+UNI.bin -nope < taiwa.text > temp1.word
% perl MergeArabicNum.pl < temp1.word > temp2.word
% perl Arabic2HanNum.pl < temp2.word > taiwa.word
% kytea -in full -nows -model CSJ+BCCWJ+UNI.bin < taiwa.word > taiwa.wordpron

3. 適応分野特有のクラスをクラス記号に置き換える

• カテゴリ、店名、場所などをクラスにする
• 数字と都道府県+地域名は一通り書き並べておいてとりあえずNUMBER, LOCATIONを割り当てる
• 現状NUMBER, LOCATION, NAME, TYPE, STATIONの5クラスを設定、ほかの単語はそれぞれの単語そのものを1クラスとする
• Julius言語モデル作成用に文頭文末記号の<s>と</s>を付加しておき、デリミタを"/"から"+"にしておく

例 taiwa.train

<s> はい+ハイ+はい ケーキ+ケーキ+TYPE です+デス+です ね+ネ+ね </s> <s> 餃子+ギョーザ+餃子 の+ノ+の 王将+オーショー+NAME 三条+サンジョー+STATION 店+テン+店 </s> <s> 餃子+ギョーザ+餃子 の+ノ+の 王将+オーショー+NAME 岩倉+イワクラ+STATION 店+テン+店 </s> <s> 吉野+ヨシノ+NAME 家+ヤ+家 一+イチ+NUMBER 号+ゴー+号 線+セン+線 京都+キョート+LOCATION 南+ミナミ+南 店+テン+店 </s>

4. クラス内の単語の生成確率の決定

上記の例(taiwa.train)では

P(王将+オーショー|NAME) = 2 / 3 P(吉野+ヨシノ|NAME) = 1 / 3

• 最もシンプルなやり方、クラスによっては一様分布にしたほうが良い場合もある
• 適応分野に出てこないが上記クラスに属すると考えられる単語を人手で辞書に追加
• クラス所属確率の合計値が１を超えるがJuliusを動かす上では特に問題ないはず

P(なか卯+ナカウ|NAME) = ε / 3 (0 ＜ ε ≦ 1)

5. 言語モデルの作成

• N-gram言語モデル作成用ツールキットPalmkitを使用
• 単語辞書のフォーマットなどについての詳細はThe Julius bookの 言語モデルの章を参照してください
• クラス列テキストの作成

% text2class taiwa.train > taiwa.ctrain
taiwa.ctrain

<s> はい TYPE です ね </s> <s> 餃子 の NAME STATION 店 </s> <s> 餃子 の NAME STATION 店 </s> <s> NAME 家 NUMBER 号 線 LOCATION 南 店 </s>



• 語彙頻度・クラス頻度の計数

% text2wfreq taiwa.train taiwa.wfreq
% text2wfreq taiwa.ctrain taiwa.cwfreq
taiwa.wfreq

... 餃子+ギョーザ+餃子 2 三条+サンジョー+STATION 1 王将+オーショー+NAME 2 吉野+ヨシノ+NAME 1 ...

taiwa.cwfreq

... 餃子 2 STATION 2 NAME 3 ...



• 使用する語彙・クラスの決定（＝未知語・未知クラスの決定）
• 以下のMakeDic.plで行われること
• 語彙ファイル(taiwa.vocab)、クラス語彙ファイル(taiwa.cvocab)を出力
• 発音の部分がUNKかつ単語表記がひらがな・カタカナのみで構成されている場合は簡易的に発音付与を行う
• 発音が与えられていない単語は未知語とし、taiwa.vocabもしくはtaiwa.cvocabから除く
• 発音を音素列に変換し、Julius用単語辞書(taiwa.cdic)を自動で作成
• 語彙ファイル・クラス語彙ファイルはそれぞれtaiwa.wfreqとtaiwa.cwfreqをwfreq2vocabで処理することによって作成することも可能
MakeDic.pl
% perl MakeDic.pl taiwa.train taiwa.vocab taiwa.cvocab taiwa.cdic


• 順向き2-gram作成

% ctext2idngram -n 2 -vocab taiwa.vocab -class taiwa.cvocab -idwfreq taiwa.cidwfreq taiwa.train taiwa.cid2gram
% idngram2lm -n 2 -idngram taiwa.cid2gram -vocab taiwa.vocab -class taiwa.cvocab -idwfreq taiwa.cidwfreq -arpa taiwa.2arpa


• 逆向き3-gram作成

% ctext2idngram -n 3 -vocab taiwa.vocab -class taiwa.cvocab -idwfreq taiwa.cidwfreq taiwa.train taiwa.cid3gram
% reverseidngram -n 3 taiwa.cid3gram taiwa.cid3gramrev
% idngram2lm -n 3 -idngram taiwa.cid3gramrev -vocab taiwa.vocab -class taiwa.cvocab -idwfreq taiwa.cidwfreq -arpa taiwa.3arpa


• バイナリ化

% mkbingram taiwa.2arpa taiwa.3arpa taiwa.bingram

• （注）mkbingramはJuliusのバージョンごとに使い方が異なるようです
• 単語辞書について
• 所属する単語が複数あるクラスに関してのみ、それぞれの確率の常用対数をとったものを記述
• MakeDic.plで語彙と同時に作成しておく
taiwa.cdic

</s> [] silE <s> [] silB 餃子 [餃子] gy o: z a の [の] n o NAME @-0.477121 王将+オーショー [王将] o: sh o: NAME @-0.176091 吉野+ヨシノ [吉野] y o sh i n o ...


本サイトで公開されているPerlスクリプトの利用・改変・再配布は自由です。その際に起こった問題に関して、本サイト製作者は一切の責を負いません。
公開中のKyTeaモデルに関しては自由にダウンロードして利用していただいて結構です。ただし、KyTeaと公開中のモデルを直接組み込んだ製品を有償で販売・提供すること（商業利用）はできません。ご注意ください。
(Last update: 2011/03/08 Tetsuro SASADA)