Multilingual Text Dataset
About this dataset
1. Product Overview
A multilingual text dataset containing texts from 34 countries, totaling 4,726,596 entries. The text content covers everyday life domains such as finance, sports, entertainment, technology, current affairs, personal names, street names, and more.
2. Product Directory Structure
Directory Structure
Data directory structure
└─Languages (language classification folder)
│├─German (language classification)
││ ││ content.txt (text file)
│├─Chinese (language classification)
Naming Convention
CORPUS/USAGE/CONTRY/TEXTe.g./Languages/Germany/content.txt
Directory Name · Content · Remarks
CORPUS · · Speech database ID
USAGE · Languages · Language classification folder
CONTRY · German · Language classification
TEXT · content.txt · Text file
3. Text Information
The text dataset includes 34 languages, with 29 of them featuring texts covering finance, sports, entertainment, technology, current affairs, and daily life topics. The remaining 16 languages contain texts related to personal names, program titles, song titles, and street names. All text content has undergone professional de-identification and proofreading. Specific counts for the 29 languages are shown in the table below:
Language · Number of Entries
Danish · 152,303
Ukrainian · 113,916
Armenian · 95,297
Russian · 169,302
Sinhala · 80,938
Icelandic · 121,117
Catalan · 48,504
South African · 83,081
Hindi · 191,774
Hebrew · 102,027
German · 463,545
Italian · 277,984
Latvian · 52,058
Norwegian · 239,508
Slovenian · 71,176
Swahili · 15,024
Georgian · 130,409
French · 339,414
Polish · 176,833
Swedish · 298,322
Zulu · 161,426
Lithuanian · 72,577
Romanian · 63,787
Finnish · 321,792
Spanish · 280,691
Azerbaijani · 49,431
Amharic · 50,924
Arabic · 153,919
Malayalam · 89,116
Total · 431,3892
The specific counts for the remaining 16 languages are shown in the following table:
Language · Personal Names · Program Titles · Song Titles · Street Names · Total
Danish · 1,739 · 2,888 · 5,767 · 5,064 · 15,458
Russian · 1,507 · 1,497 · 6,156 · 6,090 · 15,250
Hindi · 2,381 · 1,643 · 1,3861 · 6,086 · 2,3971
Colombian · 1,783 · 8,72 · 2,866 · 49 · 5,570
Egyptian · 1,499 · 1,500 · 5,979 · 5,942 · 14,920
Mexican · 1,506 · 1,501 · 6,061 · 6,060 · 15,128
German · 1,500 · 1,539 · 5,989 · 6,112 · 15,140
Italian · 4,741 · 1,861 · 6,073 · 5,541 · 1,8216
Norwegian · 3,200 · 1,721 · 6,116 · 6,933 · 17,970
Chilean · 1,552 · 9,28 · 3,447 · 5,936 · 11,863
French · 1,513 · 1,502 · 6,477 · 7,380 · 16,872
Polish · 1,503 · 1,551 · 6,260 · 6,781 · 16,095
Zulu · 1,628 · 2,744 · 6,043 · 3,1589 · 4,2004
Finnish · 1,865 · 2,411 · 5,741 · 5,901 · 15,918
Spanish · 1,542 · 1,509 · 5,985 · 6,022 · 1,5098
Emirati · 9,1 · 16,6 · 43,7 · 27,4 · 9,68
Total · 29,550 · 25,833 · 9,3258 · 11,1760 · 26,0401
Download Data Sample
Samples
Sample (Chinese)
German
Hier ist Kochgeschirr mit zinnernem Bügel , und er zog den alten Holzschuh hervor und legte die Krähe hinein.
Das Licht wurde immer heller, und pl tzlich befand er sich am Rand der H hle.
Hindi
एक काजू खाने से बूढ़ापा दूर रहता है
किसी न किसी मोड़ पर हम सभी खुद के साथ या दूसरों के साथ गलत होते हैं
Zulu
Leli hholo livakashelwe, njengabaphikisi bakhe abanamandla, beqiniseka ukuthi liyisigebengu sangempela, nabalandeli abakholelwa ekuhlanzeni kwezinhloso zakhe.
Umlando othakazelisayo kanye nesiko esivusa amadlingozi kanye nesimo sokuqala kubonakala ezindaweni eziningi ezikhangayo zendawo, okwenza iChile ibe yindawo ekh
Ukrainian
Кроме того, єта порода достаточно неприхотлива и хорошо себя чувствует, как в жилом помещении, так и в вольере.
Кавказская овчарка отличается стойкостью и агрессией по отношению к посторонним людям, поэтому следует уделить максимум времени воспитанию такого питомца.
Hebrew
אגב, בשל ההקפדה על צניעות ומוסר, המנהג קובע שהאורח ישוכן באזור נפרד באוהל, או באוהל מיוחד ובנפרד מבני המשפחה ובמיוחד מנשות המשפחה.
מדובר בהצגת עמדה הפוכה משל הרוב כדי לפתוח דיון פורה וכדי למנוע היווצרות של תמימות דעים שפוגעת ביעילות של הדיון ובבחינת כל צדדי ההחלטה ומניעת התייחסות רק לחלק מה