GATE (program)

Sada zdrojů integrovaných s GATE je známá jako CREOLE  - Reusable Objects for Language Engineering. Zdroje jsou uloženy v repozitářích CREOLE, které obsahují soubory XML, archivní kódy Java a knihovny nezbytné pro zdroje. Použité zdroje jsou seskupeny do pluginů [8] , které jsou uloženy na konkrétní adrese (URL nebo file:/URL). Pluginy mohou být základní (načtené během instalace GATE) a vlastní, mohou být umístěny na místním disku nebo vzdáleném serveru. Když je soubor načten do GATE, vypadá jako soubor nastavení creole.xml. Zásuvné moduly CREOLE se spravují prostřednictvím rozhraní pomocí příkazu Soubor > Spravovat zásuvné moduly CREOLE > Přidat nový kreolský repozitář. GATE je reprezentován jako soubor nastavení (funkcí), kde uživatel připojuje CREOLE komponenty: uživatel zadá seznam adres, GATE z nich extrahuje odpovídající zdroje (PR). Po výběru zásuvného modulu se v poli vpravo zobrazí seznam jeho nastavení.

datová úložiště

Úložiště dat. Potřebné pro uložení dokumentů/případů a procesů pro pozdější použití. Ze všech typů úložiště se často používá Serial DataStore. skladovací plechovka

• vytvořit (Datastores > Create datastore > Serial DataStore > zadejte prázdnou složku bez znaků azbuky a mezer v cestě),
• otevřít dříve vytvořené (Otevřít datové úložiště),
• ukládat do něj dokumenty a případy (Otevřít datové úložiště > dvakrát klikněte na dokument/případ),
• uložit změny provedené v dokumentu nebo korpusu (Uložit do jeho datového úložiště).

Sekvenci procesů zpracování textu z aplikací lze spouštět z úložiště DataStore. Musíte otevřít DataStore, otevřít pouzdro a poté v Aplikace vybrat tento případ. Při spuštění aplikace na těle z DataStore se každý dokument načte, zpracuje, uloží a zavře. To znamená, že se zpracovává vždy pouze jeden dokument. Tím nedochází k přetížení paměti, ale proces je pomalejší, než kdyby byly všechny dokumenty zpracovávány současně.

Označení dokumentu v GATE Developer

Označování dokumentů podle jednotných pravidel umožňuje vyhledávat a extrahovat data z dokumentu, vytvářet ontologie .

V GATE se po otevření editoru dokumentu zobrazí záložky Sady anotací a Seznam anotací (nebo Anotace v závislosti na verzi Brány), kde v seznamu napravo můžete zaškrtnout typy anotací, které chcete zobrazit, nebo anotace vytvářet. . K dispozici je funkce Change Color. Když je vybrán kus textu, ke kterému má být přiřazena anotace, zobrazí se okno Editor anotací, které obsahuje následující pole a ovládací prvky:

1. Typ anotace (pokud již byly některé typy přidány, můžete si vybrat ze stávajících)
2. Název atributu (automaticky se zobrazí prázdná pole pro další atribut)
3. Hodnota atributu
4. Tlačítko Smazat anotaci

Anotace jsou seskupeny do AnnotationSets. Jedná se o šikovnou funkci, která vám umožňuje uložit několik možností označení pro jeden dokument, například expertní a automatické. Expertní označení je obvykle uloženo v AnnotationSet s názvem Key. Automatické označení se obvykle zapisuje do prázdné sady AnnotationSet, která je standardně přítomna ve všech dokumentech. V dokumentech není žádný AnnotationSet Key, musíte jej vytvořit, zadat slovo Key do pole pod typy anotací a kliknout na New.

Systém ANNIE

GATE má systém umělé inteligence nazvaný ANNIE (Nearly-New Information Extraction System), který zahrnuje sadu zdrojů, které poskytují tokenizaci (ANNIE English Tokenizer), POS-tagging (ANNIE POS-Tagger), rozdělené do vět (ANNIE Sentence Splitter) , extrakce pojmenovaných entit (ANNIE Gazetteer a ANNIE NE Transducer) a koreference analýza (ANNIE OrthoMatcher). Vývojáři: Hamish Cunningham, Valentin Tablan, Diana Maynard, Kalina Bontcheva, Marin Dimitrov a další. Vývojáři ANNIE používají JAPE [9] algoritmy konečných automatů a regulární výrazy .

Komponenty ANNIE jsou integrovány do aplikace, takže pro inicializaci stačí kliknout na odpovídající zelenou ikonu na nástrojové liště GATE a vybrat s výchozími hodnotami. Poté, co se všechny zdroje objeví v seznamu Processing Resources, poklepáním otevřete aplikaci ANNIE, která je v seznamu aplikací. Rozhraní aplikace ANNIE je stejné jako u ostatních aplikací. Na pravé straně je uspořádaný seznam zdrojů, které budou v dokumentu volány přesně v pořadí uvedeném v seznamu. Aplikace ANNIE patří do třídy Corpus Pipeline, to znamená, že musí běžet na korpusu textů. V důsledku provozu systému ANNIE je do výchozí sady AnnotationSet přidána řada anotací, včetně Tokenu (tokeny), Sentence (věty), Vyhledávání (položky ve slovníku), Osoba, Místo, Organizace. Pokud byly korpus a dokumenty v DataStore před spuštěním ANNIE, ANNIE načte dokumenty jeden po druhém, zpracuje je a vrátí je zpět.

Seznam komponentů:

1. Seznam PR obsahuje zdroj PR Resetování dokumentu, který před zpracováním odstraní označení z dokumentu. Prostředek má parametr setsToKeep, který uvádí názvy AnnotationSets, které není třeba vymazat. Pokud je v dokumentu ruční označení, musíte se ujistit, že sada AnnotationSet obsahující toto označení je uvedena v tomto seznamu, jinak bude odstraněna. Ve výchozím nastavení je zde uvedena sada klíčů.
2. Tokenizer . Rozděluje text na tokeny, jmenovitě čísla, interpunkci, slova, symboly, mezery. Každému tokenu je přiřazen jeho typ, respektive Word (atribut orth s parametry: upperInitial, allCaps, smallCase, mixedCaps), Number, Symbol, Interpunkce, SpaceToken.
3. Věstník . Definuje pojmenované entity podle seznamu, tj. textový soubor (prostý text) se seznamem pojmenovaných entit řádek po řádku. Každý seznam obsahuje jinou sadu pojmenovaných entit: města, organizace, dny v týdnu atd. pouze pro jeden z daných jazyků. Soubor lists.def poskytuje přístup k seznamu pojmenovaných entit. Typ anotace můžete nastavit pro jednotlivý seznam pojmenovaných entit. Každý seznam musí být ve stejném adresáři jako indexový soubor lists.def.
4. Rozdělovač vět . Rozdělí text do vět. Rozdělovač používá seznam zkratek z Gazetteer k rozlišení konce věty od jiných typů interpunkce. Každému výroku je přiřazena anotace 'Sentence', uvnitř které je anotace 'Split' s hodnotou 'interní' a 'external' pro rozlišení vět tázacích, zvolacích a kladných.
5. RegEx Sentence Splitter . Alternativní způsob rozdělení textu do vět pomocí regulárních výrazů JAPE.
6. Part of Speech Tagger . Popisuje každé slovo a znak. Existuje seznam použitých značek. Používá slovní zásobu a mnoho pravidel založených na korpusu Wall Street Journal. Pravidla a slovní zásobu lze měnit ručně.
7. Sémantický Tagger . Sémantická anotace se provádí pomocí pravidel resolveru JAPE (regulárních výrazů), která používají značky získané v předchozích krocích anotace.
8. Orthographic Coreference (OrthoMatcher nebo 'NameMatcher'). Přidá typ vztahu mezi pojmenované značky entity a sémantické značky. Nenajde nové pojmenované entity, ale dokáže přiřadit nezařaditelný typ k vlastnímu jménu na základě shody slov.
9. Zájmenná koreference . Připojeno k PR jako další zdroj pluginu ANNIE. Dokáže najít citovaný text, přímou řeč, zájmena (záměna podstatných jmen, anafora ), opakování. Vyžaduje předběžnou anotaci tagů: Token (anglický Tokenizer), Sentence (Sentence Splitter), Split (Sentence Splitter), Místo (NE Transducer, OrthoMatcher), Osoba (NE Transducer, OrthoMatcher), Organizace (NE Transducer, OrthoMatcher). Analýza se provádí pomocí pravidel převodníku JAPE (regulární výrazy), je sestaven stavový automat pro vyhledávání znaků přímé řeči a uvozovek (jednoduché a dvojité uvozovky atd.), hledání zájmen "it, jeho, sebe“ a „já, já, můj, já“.

Testování výsledků zpracování textu

GATE má vestavěné nástroje pro testování výsledků zpracování textu:

• Nástroj AnnotationDiff Tool provede porovnání na stejném dokumentu (tlačítko porovnání na panelu GATE).

Parametry: Sada klíčů (název sady AnnotationSet s označením #1), Sada odpovědí (název sady AnnotationSet s označením #2), Typ (v jednu chvíli lze testovat pouze jeden typ), Funkce (atributy, které porovnáváme). Po spuštění porovnávání (Compare) AnnotationDiff vypíše dvojice anotací, přičemž typ dvojice označí barvou. Typy: Správně (úplná shoda), Chybějící (správná anotace nenalezena), Nepravá/Nepravdivá pozitivní (nalezena dodatečná anotace), Částečně správně (částečně překračující hranice anotace). Podle počtu párů různých typů se počítají standardní metriky Precision, Recall a F.

• Corpus Quality Assurance (CQA) je navržena pro výpočet metrik kvality na korpusu.

V požadovaném okně korpusu se otevře karta Corpus Quality Assurance. CQA bude shromažďovat data o sadách, anotacích a jejich atributech. Je nutné nastavit parametry, vybrat typy hodnocení (například F1.0-skóre přísné, mírné a průměrné). Spustit srovnání. Na záložce Statistika dokumentu můžete zobrazit statistiku dokumentů a také okamžitě otevřít vybraný dokument nebo pro něj zobrazit AnnotationDiff. Výsledky testů lze exportovat do HTML.

GATE Mimir

GATE Mímir je open source vyhledávač hostovaný na SourceForge, distribuovaný pod licencí GNU Lesser General Public License 3.0. GATE Mímir poskytuje podporu pro indexování a vyhledávání lingvistických a sémantických informací z aplikací s obrovskými databázemi lingvistických dat. GATE Mímir poskytuje možnost vyhledávat informace o textu, anotace, sémantické ontologie a sémantická metadata pomocí libovolných kombinací textu, strukturních informací a SPARQL. Vývojáři neposkytují hotový zabalený produkt, ale nabízejí stažení zdrojů a kompilaci vlastních souborů. K dispozici je uživatelská příručka GATE Mímir [10] , příklady použití [11] , pro nejnovější verze jsou k dispozici archivy celého stromu zdrojového kódu [12] .

Viz také

• Extrakce informací
• zpracování přirozeného jazyka
• Ontologie (informatika)
• Počítačová lingvistika
• open source
• Jáva
• Strojové učení

Poznámky

1. ↑ tao , str. 5.
2. ↑ Grimes, 2009 .
3. ↑ TwitIE, 2013 .
4. ↑ tao , str. 6.
5. ↑ BiomedicalGate, 2013 .
6. ↑ Projekty .
7. ↑ Uživatelská příručka GATE , str. 93.
8. ↑ Seznam GATE pluginů .
9. ↑ Sekce o JAPE .
10. ↑ Mimír .
11. ↑ MimirExamples .
12. ↑ Zdroj Mímir .

Literatura

• Hamish Cunningham, Diana Maynard, Kalina Bontcheva a kol. Vývoj komponent pro zpracování jazyka pomocí GATE verze 7 (uživatelská příručka  ) . The University of Shelf (2013).
• Seth Grimes. Open Source Text Analytics  . — 2009.
• K. Bontcheva, L. Derczynski, A. Funk, M. A. Greenwood, D. Maynard a N. Aswani. TwitIE: Open-Source Information Extraction Pipeline pro mikroblogový text  //  Asociace pro počítačovou lingvistiku. — 2013.
• Hrají Hamish Cunningham, Valentin Tablan, Angus Roberts, Kalina Bontcheva. Získejte více z biomedicínských dokumentů pomocí GATE Full Lifecycle Open Source Text Analytics   // PLoS Compput Biol 9(2) : journal . - USA, 2013. - Iss. 9(2) .
• Cunningham H., Maynard D., Bontcheva K. a Tablan V. GATE: Framework and Graphical Development Environment for Robust NLP Tools and Applications (In proc. 40th Anniversary Meeting of the Association for Computational Linguistics, 2002  ) )  // University of Shelf. — 2009.
• Konchady Manu. Vytváření vyhledávacích aplikací: Lucene, LingPipe a Gate . - Oakton, Virginia, USA: Mustru Publishing, 2008. - 447 s. — ISBN 978-0-61520-425-3 .
• Graham Wilcock. Úvod do lingvistické anotace a analýzy textu . - Princeton, NJ: Morgan & Claypool Publishers, 2009. - 159 s. — ISBN 9781598297386 .
• Valentin Tablan, Ian Roberts. Uživatelská příručka Mimir  (anglicky) . The University of Shelf (2013).

Odkazy

• Seznam článků o GATE
• Seznam GATE pluginů
• Seznam projektů využívajících GATE s popisem
• Uživatelská příručka GATE. Formáty dokumentů
• Část o JAPE v uživatelské příručce GATE
• Příklady dotazů Mimir
• Zdrojový kód pro GATE Mímir
• NLPub. Integrované balíčky