Obecný internetový korpus ruského jazyka

Obecný internetový korpus ruského jazyka (GIKRYA)  je prohledávatelný elektronický online korpus ruských textů z internetu. Otevřeno v roce 2013 . Korpus obsahuje textové materiály z blogosféry , sociálních sítí , z největších zpravodajských zdrojů az literárních časopisů .

Cíle projektu

Projekt má status vzdělávací a vědecký a mnoho problémů počítačové lingvistiky je řešeno nezávislými výzkumníky a vědeckými skupinami na základě materiálů obdržených GICR. Zatímco jiné korpusové projekty se zaměřují na beletrii a upravené texty, General Internet Corpus poskytuje ruským lingvistům včasnou [1] příležitost studovat jazyk takový, jaký je, se všemi regionálními a slangovými rysy.

Tělo umožňuje:

• Lingvistická studia širokého spektra: dialektologická studia, studium distribuce slov, studium jazyka sociálních sítí , studium vlivu pohlaví , věku a dalších faktorů na jazyk , frekvence slov, množiny výrazů a různé konstrukce, stylistické rysy textů různých segmentů internetu atd.;
• Analýza sociálních médií ;
• Strojové učení založené na korpusu [2] , zdokonalující algoritmy automatického označování.

V různých dobách prováděli výzkum a nezávislý výzkum materiálu projektu studenti, postgraduální studenti a zaměstnanci Moskevské státní univerzity , Moskevského fyzikálního a technologického institutu , Ruské státní univerzity pro humanitní studia , Novosibirské státní univerzity , Národní výzkumné univerzity. Vyšší ekonomická škola , Ústav jaderného výzkumu, Ruská akademie věd , Jižní federální univerzita , ChSU , VGPU , ISAA MSU .

Vědečtí školitelé projektu:

• Belikov V. I. - Moskevská státní univerzita , Ruská státní humanitní univerzita , Moskva , Rusko ;
• Selegey V.P. - Ruská státní univerzita pro humanitní vědy ; MIPT ; ABBYY , Moskva , Rusko ;
• Sharov SA – Ruská státní univerzita humanitních věd , Moskva , Rusko ; University of Leeds , UK [3] .

Na vzniku a podpoře projektu se podíleli tito lidé:

• Ruská státní univerzita pro humanitní vědy ;
• ABBYY ;
• Moskevský institut fyziky a technologie (Státní univerzita) ;
• Univerzita Skoltech .

Objem a složení těla

Objem korpusu za léto 2016 je 19,8 miliardy slov, z nichž 49 % je na Vkontakte , 40 % na LiveJournal , další 4 % na [email protected] a News a 2 % na Journal hall [4] . Segment Zprávy obsahuje materiály ze zdrojů: RIA Novosti , Regnum , Lenta.ru , Rosbalt . Texty jsou opatřeny metaznačkou (podle data vytvoření textu, pohlaví, místa a roku narození autora, žánru internetu atd.); všechny texty jsou vybaveny automatickým morfologickým značením a lemmatizovány [4] . Většina textů je vytvořena hesly pro roky 2013-2014 , i když některé segmenty, např. v Síni žurnálu, obsahují texty od roku 1994 [5] .

GICR je jedním z mála megakorpusů, které dosahují několika miliard slov.

Přístup

Rozhraní korpusu je v současné době ve fázi beta testování , takže přístup k vyhledávání korpusů je poskytován a je zdarma, na vyžádání.

Viz také

• Korpus textů
• Automatický příjem označeného korpusu
• NRC

Poznámky

1. ↑ VLADIMÍR BELÍKOV . Získáno 26. prosince 2019. Archivováno z originálu 16. listopadu 2019. (Ruština)
2. ↑ Automatická klasifikace webových textů pomocí funkčních rozměrů textu . Získáno 8. června 2016. Archivováno z originálu 26. června 2016. (neurčitý)
3. ↑ Tým | GIKRYA . Získáno 26. prosince 2019. Archivováno z originálu 5. ledna 2020. (Ruština)
4. ↑ 1 2 sbor | GIKRYA . Získáno 26. prosince 2019. Archivováno z originálu 3. prosince 2019. (Ruština)
5. ↑ #geekrya #geekrya_stats Za co.. | GIKRYA Obecný internetový korpus ruského jazyka | VK

Literatura

• Ruští vědci označí internet (na stránce "Věda a technologie Ruska - STRF.ru")
• Belikov V., Kopylov N., Pipersky A., Selegey V., Sharov S. (2013), Korpus jako jazyk: od škálovatelnosti k diferenciální úplnosti. Počítačová lingvistika a inteligentní technologie. Na základě materiálů výroční konference Dialog, Bekasovo.
• Pipersky A. Ch. (2013) Obecný internetový korpus ruského jazyka a koncept reprezentativnosti v korpusové lingvistice. Ústav lingvistiky, Ruská státní univerzita pro humanitní vědy, Moskva, Rusko
• Sharov S. A., Belikov V. I., Kopylov N. Yu., Sorokin A. A., Shavrina T. O. (2015) Corpus with automaticky disambiguated morphological ambiguity: Toward a Method for linguistic research. Počítačová lingvistika a inteligentní technologie. Na základě materiálů výroční konference Dialog, Bekasovo.

Odkazy

• Oficiální stránky GIKRYA