[dictionaries] Removing the convention of separating ideograms with space, tokenizer can accomplish the same thing

2015-07-20 02:50:35 -04:00
parent 3ff6526392
commit 96d20f8693
11 changed files with 58 additions and 60 deletions
--- a/data/dictionaries/ja/building_types.txt
+++ b/data/dictionaries/ja/building_types.txt
@@ -1,6 +1,6 @@
 番
 ban
-番 地
+番地
 banchi
-番 地 の
+番地の
 banchi no|banchino
--- a/data/dictionaries/ja/directionals.txt
+++ b/data/dictionaries/ja/directionals.txt
@@ -6,11 +6,11 @@ minami
 higashi
 西
 nishi
-北 東
+北東
 hokutō|hokuto|hokutou
-北 西
+北西
 hokusei
-南 東
+南東
 nantō|nanto|nantou
-南 西
+南西
 nansei
--- a/data/dictionaries/ja/qualifiers.txt
+++ b/data/dictionaries/ja/qualifiers.txt
@@ -10,7 +10,7 @@ fu
 shi
 区
 ku
-特 別 区
+特別区
 tokubetsu ku
 tokubetsuku
 郡
@@ -23,12 +23,11 @@ mura
 son
 字
 aza
-丁 目
+丁目
 chome
-大 字
+大字
 oaza
-小 字
+小字
 koaza
-街 区
+街区
-gaiku
+gaiku
 〒
--- a/data/dictionaries/ja/street_types.txt
+++ b/data/dictionaries/ja/street_types.txt
@@ -1,61 +1,60 @@
-
+バイパス 道路
 バイパス 道 路
 baipasu dōro|baipasu doro|baipasudōro|baipasudoro
 バイパス
 baipasu
 ブールバール
 būrubāru|burubaru
-道 路
+道路
 dōro|doro
-街 路
+街路
 gairo
 ハイ・ストリート
 hai·sutorīto|hai sutorīto|haisutorīto|hai·sutorito|hai sutorito|haisutorito
-自 動 車 道
+自動車道
 jidōshadō|jidoshado
-街 道
+街道
 kaidō|kaido
-環 状 道 路
+環状道路
 kanjō dōro|kanjo doro|kanjōdōro|kanjo doro
-経 路
+経路
 keiro
-公 道
+公道
 kōdō|kodo
-公 園 道 路
+公園道路
 kōen dōro|koen doro|kōendōro|koendoro
-国 道
+国道
 kokudō|kokudo
-高 速 道 路
+高速道路
 kōzokudōro|kozokudoro|kozoku doro|kōzoku dōro|kosukudoro|kosoku doro
 クルドサック
 kurudosakku
 道
 michi
-表 通 り
+表通り
 omotedōri|omotedori
-大 通 り
+大通り
 ōdōri|odori
 メーンストリート
 mēnsutorīto|mensutorito
 メロディーロード
 merodīrōdo|merodirodo
-路 地
+路地
 roji
 ローマ 街 道
 rōma kaidō|roma kaido|rōmakaidō|romakaido
-私 道
+私道
 shidō|shido
-州 間 高 速 道 路
+州間高速道路
 shūkankōsokudōro|shukankosokudoro
 ストリート
 sutorīto|sutorito
-通 り
+通り
 tōri|tori
-通 り 道
+通り道
 tōrimichi|torimichi
-都 市 高 速 道 路
+都市高速道路
 toshi kōzokudōro|toshi kozokudoro|toshikōzokudōro|toshikozokudoro
-通 路
+通路
 tsūro|tsuro
-有 料 道 路
+有料道路
 yūryō dōro|yuryo doro|yūryōdōro|yuryodoro
--- a/data/dictionaries/ko/directionals.txt
+++ b/data/dictionaries/ko/directionals.txt
@@ -9,22 +9,22 @@ dohng
 dong
 서
 seo
-북 동
+북동
 book dohng
 bookdohng
 bug dong
 bugdong
-북 서
+북서
 book seo
 bookseo
 bug seo
 bugseo
-남 동
+남동
 nahm dohng
 nahndohng
 nam dong
 namdong
-남 서
+남서
 nahm seo
 nahmseo
 nam seo
--- a/data/dictionaries/ko/qualifiers.txt
+++ b/data/dictionaries/ko/qualifiers.txt
@@ -2,5 +2,5 @@
 gu
 동
 dong
-번 지
+번지
 beonji
--- a/data/dictionaries/th/street_types.txt
+++ b/data/dictionaries/th/street_types.txt
@@ -1,10 +1,10 @@
-ซ อ ย
+ซอย
 soi|sxy
-ซ อ ย เ ท ศ บ า ล
+ซอยเทศบาล
 soi thetsaban|sxy theṣ̄bāl|sxy tesbal
-ถ น น
+ถนน
 thanon|t̄hnn|thnn
-ท า ง ด ่ ว น
+ทางด่วน
-ไ ฮ เ ว ย ์
+ไฮเวย์
-ต ร อ ก
+ตรอก
 trok|trxk
--- a/data/dictionaries/vi/personal_titles.txt
+++ b/data/dictionaries/vi/personal_titles.txt
--- a/data/dictionaries/zh/directionals.txt
+++ b/data/dictionaries/zh/directionals.txt
@@ -6,15 +6,15 @@ dōng|dong
 nán|nan
 西
 xī|xi
-西 北
+西北
 xīběi|xibei
 xī běi|xi bei
-西 南
+西南
 xīnán|xinan
 xī nán|xi nan
-东 北
+东北
 dōngběi|dongbei
 dōng běi|dong bei
-东 南
+东南
 dōngnán|dongnan
 dōng nán|dong nan
--- a/data/dictionaries/zh/qualifiers.txt
+++ b/data/dictionaries/zh/qualifiers.txt
@@ -17,5 +17,5 @@ lǐ|li
 cūn|cun
 鄰
 lín|lin
-邮 编
+邮编
 yóubiān|youbian
--- a/data/dictionaries/zh/street_types.txt
+++ b/data/dictionaries/zh/street_types.txt
@@ -1,28 +1,28 @@
-村 道
+村道
 cūn dào|cun dao|cūndào|cundao
-大 道
+大道
 dàdào|dadao
-大 街
+大街
 dàjiē|dajie
 道
 dào|dao
-大 院
+大院
 dà yuàn|dayuan
-国 道
+国道
 guódào|guodao
-胡 同
+胡同
 hútòng|hutong
 街
 jiē|jie
 路
 lù|lu
-省 道
+省道
 shěng dào|sheng dao|shěngdào|shengdao
-县 道
+县道
 xiàn dào|xian dao|xiàndào|xiandao
 巷
 xiàng|xiang
-乡 道
+乡道
 xiāng dào|xiang dao|xiāngdào|xiangdao
 段
 duàn|duan