多国文本数据集
数据集介绍
一、产品概述
多语种文本数据集，包含34个国家，共计4726596条文本。文本内容覆盖金融、体育、娱乐、科技、时事新闻、人名、街道名等日常生活领域。
二、产品目录结构
目录结构
数据目录结构数据目录结构
└─Languages（语种分类文件夹）
│├─German（语种分类）
││ ││ content.txt（文本文件）
│├─Chinese（语种分类）
命名规则
CORPUS/USAGE/CONTRY/TEXTe.g./Languages/Germany/content.txt
目录名称 · 内容 · 备注
CORPUS · · 语音数据库编号
USAGE · Languages · 语种分类文件夹
CONTRY · German · 语种分类
TEXT · content.txt · 文本文件
三、文本信息
文本数据集包含34国语种，其中29国文本内容包含金融、体育、娱乐、科技、时事新闻以及日常生活领域，16国文本包含人名、节目名、歌曲名以及街道名。文本内容经过专业的脱敏校对处理。29国具体条数参见下表：
语种 · 条数
丹麦 · 152303
乌克兰 · 113916
亚美尼亚 · 95297
俄国 · 169302
僧伽罗 · 80938
冰岛 · 121117
加泰罗尼亚 · 48504
南非 · 83081
印地 · 191774
希伯来 · 102027
德国 · 463545
意大利 · 277984
拉脱维亚 · 52058
挪威 · 239508
斯洛文尼亚 · 71176
斯瓦希里 · 15024
格鲁吉亚 · 130409
法国 · 339414
波兰 · 176833
瑞典 · 298322
祖鲁 · 161426
立陶宛 · 72577
罗马尼亚 · 63787
芬兰 · 321792
西班牙 · 280691
阿塞拜疆 · 49431
阿姆哈拉 · 50924
阿拉伯 · 153919
马拉亚拉姆 · 89116
合计 · 4313892
16国具体条数参见下表：
语种 · 人名 · 节目名 · 歌曲名 · 街道名 · 合计
丹麦 · 1739 · 2888 · 5767 · 5064 · 15458
俄国 · 1507 · 1497 · 6156 · 6090 · 15250
印地 · 2381 · 1643 · 13861 · 6086 · 23971
哥伦比亚 · 1783 · 872 · 2866 · 49 · 5570
埃及 · 1499 · 1500 · 5979 · 5942 · 14920
墨西哥 · 1506 · 1501 · 6061 · 6060 · 15128
德国 · 1500 · 1539 · 5989 · 6112 · 15140
意大利 · 4741 · 1861 · 6073 · 5541 · 18216
挪威 · 3200 · 1721 · 6116 · 6933 · 17970
智利 · 1552 · 928 · 3447 · 5936 · 11863
法国 · 1513 · 1502 · 6477 · 7380 · 16872
波兰 · 1503 · 1551 · 6260 · 6781 · 16095
祖鲁 · 1628 · 2744 · 6043 · 31589 · 42004
芬兰 · 1865 · 2411 · 5741 · 5901 · 15918
西班牙 · 1542 · 1509 · 5985 · 6022 · 15098
阿联酋 · 91 · 166 · 437 · 274 · 968
合计 · 29550 · 25833 · 93258 · 111760 · 260401
数据样例下载
样例
样例（中文）
German
Hier ist Kochgeschirr mit zinnernem Bügel , und er zog den alten Holzschuh hervor und legte die Krähe hinein.
Das Licht wurde immer heller, und pl tzlich befand er sich am Rand der H hle.
Hindi
एक काजू खाने से बूढ़ापा दूर रहता है
किसी न किसी मोड़ पर हम सभी खुद के साथ या दूसरों के साथ गलत होते हैं
Zulu
Leli hholo livakashelwe, njengabaphikisi bakhe abanamandla, beqiniseka ukuthi liyisigebengu sangempela, nabalandeli abakholelwa ekuhlanzeni kwezinhloso zakhe.
Umlando othakazelisayo kanye nesiko esivusa amadlingozi kanye nesimo sokuqala kubonakala ezindaweni eziningi ezikhangayo zendawo, okwenza iChile ibe yindawo ekh
Ukrainian
Кроме того, єта порода достаточно неприхотлива и хорошо себя чувствует, как в жилом помещении, так и в вольере.
Кавказская овчарка отличается стойкостью и агрессией по отношению к посторонним людям, поэтому следует уделить максимум времени воспитанию такого питомца.
Hebrew
אגב, בשל ההקפדה על צניעות ומוסר, המנהג קובע שהאורח ישוכן באזור נפרד באוהל, או באוהל מיוחד ובנפרד מבני המשפחה ובמיוחד מנשות המשפחה.
מדובר בהצגת עמדה הפוכה משל הרוב כדי לפתוח דיון פורה וכדי למנוע היווצרות של תמימות דעים שפוגעת ביעילות של הדיון ובבחינת כל צדדי ההחלטה ומניעת התייחסות רק לחלק מה