Slovo smyslová disambiguace ( WSD ) je nevyřešený problém zpracování přirozeného jazyka , který spočívá v úkolu vybrat význam (nebo význam) nejednoznačného slova nebo fráze v závislosti na kontextu , ve kterém se nachází. Tento problém vzniká při diskurzivní analýze , při optimalizaci relevance výsledků vyhledávači, při řešení anaforických odkazů , při studiu jazykové koherence textu, při analýze závěrů .
Vědecký výzkum řešení lexikální polysémie je v oblasti aplikované a počítačové lingvistiky již dlouhou dobu a má dlouhou historii. V průběhu let počet navrhovaných řešení a jejich účinnost neustále rostla, dokud účinnost nedosáhla určité úrovně srovnatelně efektivní přesnosti pro určitý rozsah slov a typů polysémie . Problém dosud nebyl zcela vyřešen, protože mnoho problémů přímo souvisejících s jazykovými rysy lidské řeči stojí v cestě úspěšnému řešení.
Bylo prozkoumáno velké množství metod, od metod založených na znalostech, pravidel, lexikografických zdrojů, řízeného učení na korpusu textů až po metody učení bez dohledu , které seskupují slova na základě významu. Mezi těmito metodami se dosud ukázaly nejlepší účinnosti metody učení pod dohledem. Objektivní srovnání a hodnocení metod je však složitý proces, který závisí na mnoha faktorech. U zobecněných systémů slovní zásoby (pro angličtinu) účinnost pravidelně překračuje laťku 90 %, někdy dosahuje dokonce 96 %. U diferencovanějších systémů slovní zásoby se účinnost pohybuje v rozmezí 59 % -69 %.
Obecně je nejednoznačnost (či nejednoznačnost) jazykového výrazu nebo řečového díla (textu) chápána jako přítomnost více různých významů současně [1] . Vědci sdílejí několik typů takové nejednoznačnosti: lexikální, syntaktické a řečové, ale termín „WSD“ zahrnuje řešení lexikálních (sémantických).
To, o čem mluvíme, lze pochopit z následujícího příkladu s nejednoznačným slovem „klíč“:
a také 3 kontexty:
Člověku je zřejmé, že v první větě je slovo " klíč " použito v prvním významu, ve druhé větě - respektive ve druhém významu a ve třetím - jsou možné varianty. Vývoj algoritmů, které napodobují tuto lidskou schopnost, může být někdy skličující úkol.
Proces řešení vyžaduje několik věcí: systémy znalostí slovní zásoby k definování více významů slov a soubor textů k vyřešení ( v některých případech mohou být vyžadovány jiné zdroje znalostí ).
Tento problém byl poprvé formulován jako samostatný problém ve 40. letech 20. století, během prvních dnů strojového překladu, což z něj činí jeden z nejstarších problémů počítačové lingvistiky. Warren Weaver ve svém slavném memorandu „ The 'Translation' memorandum“ (1949) [2] představil problém v počítačovém aspektu. Tehdejší badatelé si byli dobře vědomi jeho významu a složitosti, zejména Joshua Bar-Hillel (jeden z průkopníků) v roce 1960 vyjádřil pochybnost, že by úkol univerzálního plně automatického strojového překladu byl vůbec proveditelný kvůli potřebě modelovat veškeré lidské znalosti o světě [3] .
V 70. letech se problém WSD stal součástí systémů sémantické interpretace vyvinutých v oblasti AI , ty se však většinou skládaly z ručně odvozených pravidel, a proto zcela závisely na množství dostupných znalostí, což bylo v té době nesmírně pracné. extrahovat.
V 80. letech 20. století byly k dispozici tak objemné zdroje jako Oxford Advanced Learner's Dictionary of Current English a ruční psaní pravidel bylo nahrazeno automatickou extrakcí znalostí z takových zdrojů, ale metody stále neopouštěly třídu tzv. založené metody“.
V 90. letech však „statistická revoluce“ zcela změnila přístupy a metody v počítačové lingvistice a problém řešení lexikální polysémie se stal problémem, na který lze aplikovat všechny druhy metod řízeného učení [4] .
Rok 2000 ukázal, že metody učení pod dohledem dosáhly určité úrovně přesnosti a nedokážou ji překonat, takže se pozornost vědců přesunula směrem k práci s více zobecněnými systémy znalostí slovní zásoby (hrubozrnné smysly), přizpůsobení se oborům (přizpůsobení domény) , částečné řízené učení (částečně řízené systémy) a neřízené učení (systémy založené na korpusu bez dohledu), smíšené metody, stejně jako zpracování znalostních bází a zobrazování výsledků ve formě grafů (návrat systémů založených na znalostech prostřednictvím grafů metody). Dodnes jsou však za nejúčinnější systémy učení s dohledem.
Proč však takový úkol působí tolik potíží a výsledky jeho řešení vykazují relativně nízkou efektivitu? V procesu práce na problému řešení lexikální polysémie bylo objeveno velké množství obtíží, nejčastěji způsobených vlastnostmi lidské psychologie a řeči.
Za prvé, všechny slovníky jsou různé a nejsou si navzájem ekvivalentní. Úkol rozlišovat významy slova od sebe nejčastěji nečiní potíže, v některých případech však mohou být různé významy slova sémanticky velmi blízké (například pokud je každý z nich metaforou nebo metonymie pro sebe navzájem) a v takových situacích se rozdělení na významy v různých slovnících a tezaurech může výrazně lišit. Řešením tohoto problému může být univerzální použití stejného zdroje dat: jednoho univerzálního slovníku. Globálně jsou efektivnější výsledky studií využívajících zobecněnější systém sémantického dělení [5] [6] , takže někteří badatelé ve své práci zpracování slovníků a tezaurů s podrobnějším sémantickým členěním jednoduše ignorují.
Za druhé, v některých jazycích může označení částí slova velmi úzce souviset s problémem jednoznačnosti, což má za následek, že se tyto dva problémy mohou vzájemně ovlivňovat. Vědci nedospěli ke shodě, zda má cenu je dělit na dvě autonomní složky, ale výhoda je na straně těch, kteří se domnívají, že je to nutné [7] .
Třetí obtíž spočívá v lidském faktoru . Disambiguační systémy byly vždy hodnoceny porovnáním výsledků s lidskou prací. A pro lidi nemusí být tento úkol tak jednoduchý jako POS-tagging - je několikrát obtížnější označit významy mezi několika navrženými [8] . Pokud si člověk dokáže zapamatovat nebo snadno odhadnout části řeči, kterými slovo může být, pak není možné zapamatovat si všechny možné významy slov. Navíc, jak se ukázalo, výsledky různých lidí se ne vždy shodují [9] a často nedojdou ke společnému rozhodnutí o významu, ve kterém je dané slovo v konkrétním kontextu použito. Navzdory tomu vědci berou výsledek člověka jako standard, měřítko pro srovnání s výsledky počítače. Nutno podotknout, že se zobecněnými systémy slovníků se člověk vyrovná mnohem lépe než s podrobnými – a proto se na ně přesunula pozornost badatelů [5] [6] .
Někteří badatelé tvrdí [10] , že při zpracování textů je důležitý i zdravý rozum , který počítač jen stěží dokáže naučit. Následující dvě věty jsou příklady:
Z první věty vyplývá, že Jill a Mary jsou si navzájem sestry; ve druhém, že Jill i Mary jsou obě matky a není pravda, že jsou příbuzné. Pro přesnější analýzu významů je proto nutné mít takové znalosti o světě a společnosti. Navíc je tato znalost někdy nezbytná i při řešení syntaktických nejasností a při analýze anafory a katafory .
Za páté, trvalá sada metod nezávislá na úkolu (nezávislá na úkolu) nedává smysl, vzhledem k tomu, že nejednoznačnost slova myš (zvíře a počítačové zařízení) například neovlivňuje výsledek anglicko-ruského a ruského- Anglický překlad vůbec (protože v obou jazycích jsou oba tyto významy ztělesněny ve stejném slově), ale silně ovlivňuje vyhledávání informací. Lze uvést i opačný příklad: při překladu slova „řeka“ z angličtiny do francouzštiny potřebujeme znát význam slova („fleuve“ je řeka, která se vlévá do moře, a „rivière“ je řeka, která vlévá do jiné řeky). Výsledkem je, že různé problémy vyžadují různé algoritmy - takže pokud je vyvinut nějaký dobrý algoritmus lexikální deambiguace, nelze si být zcela jisti, že bude vyhovovat všem problémům.
Za šesté, vědci si kladou otázku o možnosti diskrétní reprezentace významů slova. I samotný termín „ význam slova “ je dosti obecný a kontroverzní. Většina lidí souhlasí při práci se zobecněnými znalostními systémy s vysokou úrovní homografie slov, ale jak se úroveň snižuje a slovníky se stávají podrobnějšími, dochází k velkému množství nesrovnalostí. Například na konferenci Senseval-2, která používala podrobné systémy, se lidští anotátoři dohodli pouze v 85 % případů [11] .
Významy slov jsou velmi flexibilní, značně proměnlivé a extrémně kontextové a někdy i kontextově závislé, takže nejsou vždy striktně rozděleny do více podvýznamů [12] . Lexikografové se v textech často setkávají s příliš širokými a sémanticky se překrývajícími podvýznamy a standardní významy slov je často nutné korigovat, rozšiřovat a zužovat těmi nejbizarnějšími a nejneočekávanějšími způsoby. Například v této situaci „děti utíkají k matkám“ je slovo „děti“ použito současně ve dvou významech: oba jsou dětmi svých rodičů a spravedlivými dětmi. Úkolem lexikografa je analyzovat obrovské množství textů a materiálů a popsat celou možnou škálu významů slova. Stále však není známo, zda je tento přístup použitelný v oblasti výpočetní a počítačové lingvistiky, protože rozhodnutí lexikografů jsou přijímána ve prospěch úplnosti popsaných významů, a nikoli použitelnosti informací získaných při zpracování textu.
V poslední době byl jako řešení problému rozlišování významů slov navržen problém zvaný lexikální substituce [13] . Jeho smyslem je poskytnout náhradu za slovo jiným, které si v tomto kontextu zachovává význam starého.
Je známou skutečností, že výsledky procesu závisí nejen na inovativnosti a účinnosti metod, ale také na různém nastavení/vlastnostech úkolu a požadavcích procesu řešení (např. významů slova, charakteristika hodnocení výsledků, jednoznačné pokrytí atd.). Je také důležité, aby z výsledků WSD mohl těžit velký počet oborů NLP.
V systémech vyhledávání informací - pokud při vyhledávání dotazu vyloučíte z úvahy ty dokumenty, ve kterých je kterékoli ze slov dotazu použito v jiném významu, než o který má uživatel aktuálně zájem, pak může být relevance výsledků dotazu zvýšené.
Vůbec první práce, které zkoumaly možnost využití WSD v oblasti vyhledávání informací , neprokázaly zvýšení přesnosti vyhledávání. Nicméně v roce 1994 Sanderson zjistil [14] , že zlepšení lze detekovat pouze tehdy, pokud účinnost jednoznačnosti překročí 90 %, o jejíž obecné platnosti se diskutuje. A v roce 1995 Schutze a Pedersen ukázali [15] , kteří ukázali, že s výše uvedenou účinností lze dosáhnout 4% zlepšení vyhledávání. Stokey však ukázal, že použití WSD může poskytnout, i když malé – v průměru 1,73 %, výsledky i při nižší účinnosti WSD (62,1 %) [16] .
V systémech strojového překladu nedostatek spolehlivých mechanismů pro rozpoznání významu slova výrazně snižuje kvalitu překladu, protože slovo není vždy jednoznačně přeloženo do jiného jazyka. A automatické určení správného překladu v závislosti na kontextu je velmi obtížný úkol. Lexikální disambiguace byla dlouho pojímána jako hlavní výzva k dosažení téměř dokonalého strojového překladu – tyto myšlenky jsou založeny na myšlence, že WSD nemůže jinak než zlepšit překladatelské systémy při výběru vhodných hodnotových kandidátů pro překlad. Tato oblast nebyla prozkoumána tolik, jak by bylo potřeba, kvůli tradičním méně účinným předdefinovaným slovníkovým databázím ( eng. sense inventar ) , které se již dlouho staly tradičními .
Ve specifických oblastech je největší zájem o problémy řešení pro ně specifických pojmů: například v lékařské oblasti může být užitečné definování názvů léků v textu, zatímco v bioinformatice je nutné vyřešit nejasnosti v pojmenování léků. geny a proteiny – tento proces se nazývá extrakce informací . Zahrnuje takové úkoly, jako je rozpoznávání pojmenovaných entit ( eng. named-entity recognition ) (NER), rozšíření zkratek (například Ruská federace - Ruská federace) a další - to vše lze považovat za polysémii úlohy řešení, i když jde o nový a ještě pořádně neprobádaný směr.
Analýza obsahu a identifikace hlavních částí textu z hlediska myšlenek, témat a podobně může WSD velmi těžit. Jde například o klasifikaci textů (blogů), přiřazování tagů k článkům či blogovým příspěvkům nebo určování relevantních (třeba sémantických) vazeb mezi nimi, či (sémantické) analýzy sociálních sítí , které se stále více aktivní v poslední době. Tato oblast je nejnovější, neznámá ze všech výše uvedených.
Jako vždy existují při zpracování přirozeného jazyka dva přístupy: hluboký a mělký.
Přístupy patřící do první kategorie zahrnují přístup k takzvaným světovým znalostem (world knowldge nebo commonsense knowledge base). Například vědomí, že „jakákoli neživá, hmotná věc může být zelená ve smyslu barvy, ale nemůže být zelená ve smyslu nezkušenosti“, umožňuje určit, v jakém smyslu je slovo „zelená“ v daném kontextu použito. Takové přístupy nejsou v praxi tak účinné, protože taková třída znalostí o světě, i když je možné ji uložit v počítačovém formátu, pokrývá velmi malé [22] oblasti našeho života a není zcela použitelná pro všechny. studie. Musím říci, že tento přístup také vždy nefunguje, např. ve větě „Ředitel byl tak zelený“, pomocí znalostí nelze určit, v tomto případě je ředitel zelený, protože zezelenal nebo protože je nezkušený - často to lze určit pouze na základě kontextu, ale z logiky a smyslu celého textu.
Také ve výpočetní lingvistice existuje stará tradice aplikace těchto metod, pokud jde o znalosti programu, a je často poměrně obtížné určit, zda se jedná o znalosti lingvistické nebo znalosti o světě ( English Commonsense knowledge base ). První pokus provedla Margaret Mastermanová a její kolegové z Cambridge Language Research Unit v Anglii v 50. letech 20. století: použili data Rogerova tezauru a očíslovaná hesla . ) jako indikátory témat a analyzovali opakování v textu pomocí nastaveného algoritmu průniku. Tento experiment nebyl příliš úspěšný [23] , ale měl silný vliv na následnou práci, zejména práci Yarovkského z 90. let na optimalizaci metody tezauru pomocí řízeného výukového stroje.
Povrchové přístupy se nesnaží porozumět textu, spoléhají se pouze na analýzu blízkých slov, například: pokud jsou vedle slova "basy" přítomna slova "moře" nebo "rybaření", s největší pravděpodobností v tomto případě je význam v biologickém smyslu. Tato pravidla lze automaticky extrahovat pomocí korpusu textů s označenými významy slov. Tento přístup, ačkoliv výkonově nepokrývá ten předchozí, v praxi jej snadno předčí. Vždy se však najdou úskalí, jako například ve větě „Psi štěkají na strom“, která u slova „štěká“ obsahuje slova „strom“ a „psi“.
Existují čtyři hlavní metody pro jednoznačnost:
Metoda Lesk [24] je produktivní metoda založená na využití znalostí slovní zásoby. Vychází z hypotézy, že slova, která jsou v textu vedle sebe, spolu souvisejí a tuto souvislost lze pozorovat v definicích slov a jejich významů. Dvě (nebo více) slova si mohou být blízká, pokud obě mají dvojici hodnot s největším překrýváním slov ve svých definicích ve slovníku. Například fráze "borová šiška", v definicích obou v jednom z významů, jsou slova jako "stálezelená" a "strom". Jako alternativu k předchozí metodě můžete také použít globální vztah mezi těmito slovy výpočtem sémantické blízkosti každé dvojice hodnot ve WordNet .
Jako alternativu k výše uvedeným metodám můžete použít obecnou sémantickou podobnost ( anglicky sémantická podobnost ) významů slov na základě WordNet 'e. S určitým úspěchem byly také použity metody založené na grafech založené na aktivaci šíření : některé z nich vykazovaly přesnost srovnatelnou [25] s metodami učení pod dohledem a někdy lepší než [5] [26] v určitých oblastech . Nedávno se také ukázalo [27] , že i ty nejjednodušší metody založené na měření konektivity grafu (jako je stupeň/valence celého grafu) mohou vykazovat vysoké výsledky za přítomnosti bohaté lexikální báze.
Užitečné může být také používání tzv. modelů řízení („výběrové preference“ nebo „výběrová omezení“). Například s využitím poznatku, že slovo „basa“ ve významu ryba se často vyskytuje u slova „vařit“ nebo „jíst“, můžeme nejednoznačnost vyřešit ve větě typu „vařím basu“. Vytvořit takové znalosti o světě je však extrémně pracné a téměř nemožné.
Všechny metody výuky pod dohledem jsou založeny na předpokladu, že kontext slova, o kterém uvažujeme, poskytuje dostatek informací pro výpočet významu, ve kterém je v tomto případě aplikováno (a proto jsou znalosti získané ze slovníků a tezaurů odříznuty jako nadbytečné). Všechny modely učení pod dohledem byly aplikovány na problém WSD , včetně souvisejících technik, jako je výběr proměnných , optimalizace parametrů a souborové učení . Podporované vektorové stroje a učení založené na instancích se ukázaly jako jedny z nejúčinnějších metod, které jsou dnes k dispozici, možná proto, že dokážou zvládnout víceparametrové vlastnosti slov a kontextů. Výše uvedené metody však mají jako úzké hrdlo požadavek na obrovské množství ručně označených textů pro školení, což je, jak již bylo řečeno, pracné a nákladné. Opět vyvstává problém s vlastnictvím takto označených trupů.
Metoda bootstrapping [28] je běžnou metodou pro iterativní učení a hodnocení klasifikátoru za účelem zvýšení jeho účinnosti. Algoritmus začíná malým množstvím počátečních dat pro každé slovo: buď malým počtem ručně zadaných příkladů kontextů, nebo dvojicí nezaměnitelných pravidel pro určení významu slova (například slovo „hrát“ v kontextu slova "basa" téměř vždy znamená, že slovo je myšleno v hudebním smyslu). Tato data se používají k trénování klasifikátoru pomocí kterékoli z výše uvedených metod učení pod dohledem. Poté je klasifikátor aplikován na sadu již neoznačených textů k extrahování velkého trénovacího vzorku, který zahrnuje pouze „spolehlivé“ kontexty. Proces se iterativně opakuje: každý další klasifikátor je trénován na odpovídající větší sadě kontextů - a opakuje se, dokud není pokryt celý korpus nebo dokud není dosaženo maximálního počtu iterací.
Jiná metoda využívá k získání informací o společném výskytu slov velké objemy neoznačeného textu, což může naše data velmi doplnit. Dobře zarovnaný dvojjazyčný korpus lze také použít k vyřešení nejednoznačnosti mezi jazyky, protože polysémantické slovo v jednom jazyce je vždy přeloženo do jiného jazyka v závislosti na jeho významu, ve kterém je použito. Tuto metodu lze v jistém smyslu považovat i za metodu částečného učení.
Všechny výše uvedené techniky umožňují přizpůsobit metody učení pod dohledem jiným oblastem.
Tento typ metod je jedním z nejobtížnějších úkolů WSD. Hlavním předpokladem této metody je tvrzení: „podobné významy se vyskytují v podobných kontextech“ a lze je tedy z textu extrahovat pomocí shlukování, za použití určité míry podobnosti kontextů [29] . Potom mohou být nové kontexty přiřazeny jednomu z nejbližších shluků. Výkon metody je určitě nižší než u jiných metod, nicméně srovnání je poněkud problematické kvůli nutnosti promítnout výsledné shluky na hodnoty dostupné ve slovníku. Pokud projekce není vyžadována, lze provést odhady shlukování (včetně entropie a čistoty). Vědci velmi doufají, že metody učení bez dozoru mohou pomoci překonat nedostatky získávání znalostí , protože nevyžadují příliš pracné úlohy syntaktického a sémantického značení celého korpusu.
Existují také další metody založené na zcela odlišných principech než výše uvedené:
Úzké místo získávání znalostí jenejvětší překážkou při řešení problému nejednoznačnosti . Metody učení bez dozoru se spoléhají na znalosti, které se v elektronických slovnících a jiných lingvistických elektronických znalostních systémech téměř nevyskytují. Metody řízeného učení se naproti tomu spoléhají na existenci ručně anotovaného korpusu, jehož existence je technicky proveditelná pouze pro malý soubor slov pro účely testování, jako tomu bylo u Senseval.
Jedním z nejvíce povzbudivých trendů je proto využívání internetu jako korpusu pro automatické získávání lexikálních informací [36] . WSD byla tradičně chápána jako způsob, jak zlepšit výsledky v oblastech, jako je vyhledávání informací (IR). V tomto případě to však platí i obráceně: vyhledávače mají dostatečně jednoduché a rychlé schopnosti, aby úspěšně těžily internet pro použití ve WSD. Proto problém získávání znalostí vyvolal vznik určitých metod pro jejich získání:
Znalosti jsou jedním z klíčů k jednoznačnému řešení: poskytují data, o která se opírá samotný proces řešení. Těmito daty mohou být jak textové korpusy, tak slovníky, thesuruses, glosáře, ontologie: [37] [38] [39]
Testování a porovnávání metod není triviální úkol kvůli rozdílům v různých testovacích sadách, inventářích smyslů a použitých zdrojích dat. Než byly vytvořeny speciální události pro porovnání systémů, byly porovnávány ručně, na jejich vlastních, často malých souborech dat. Aby mohli vývojáři otestovat svůj algoritmus, musí strávit čas ručním označováním všech použití slov. A je nemožné porovnávat stejné metody ani na stejných textech, pokud používají různé systémy výkladu slov.
Pro „kombinování“ a porovnání metod byly organizovány mezinárodní konference srovnávající systémy WSD. Senseval (nyní přejmenovaná na Semeval ) je mezinárodní konference srovnávající lexikální disambiguační systémy, která se koná každé 3 roky od roku 1998: Senseval-1 (1998), Senseval-2 (2001), Senseval-3 (2004) a jejich logický nástupce SemEval , která byla celá věnována úkolu WSD a konala se jednou, v roce 2007. Mezi její úkoly patří organizování seminářů a workshopů, ruční příprava a označování korpusů pro testování systému, dále porovnávání algoritmů různých typů („všeslova“ a „lexikální vzorek“ WSD, anotované a nekomentované palgoritmy) a studium takové dílčí úkoly, jako je označování sémantických rolí , glosování WSD , lexikální substituce atd. V rámci výše uvedených aktivit byla provedena i srovnání systémů WSD v rámci nejen anglického jazyka. Na akcích však nebyl přítomen ani jeden jazyk slovanské skupiny.
Systém významů slov . Během prvních konferencí byly jako systémy významů slov (slovníky, lexikální databáze), buď málo známé dříve nepřístupné (například projekt HECTOR), nebo malé, malé, neúplné verze skutečného kompletního systému, které byly požadovány v soutěži. použitý.. Obvykle byly obě nedostatečně podrobné a diferencované (angl. hrubozrnné), byly však vybrány tak, aby se vyhnuly používání nejoblíbenějších a nejpodrobnějších (angl. jemnozrnných) příkladů (např. WordNet ), protože tento experiment by byl „nečistý“, protože tyto znalostní báze již byly opakovaně „osvětleny“ v různých studiích a hodnoceních. Bylo zjištěno, že u podrobnějších výsledků byly výsledky zcela odlišné, takže bylo rozhodnuto otestovat algoritmy na obou inventářích smyslů.
Sada slov ke kontrole . Také srovnání metod disambiguace se dělí na dva typy podle počtu kontrolovaných slov: rozlišení lexikální polysémie určité množiny slov (nejčastěji několik desítek) a rozlišení lexikální polysémie všech slov textu. Jejich rozdíl spočívá v množství analýzy a zpracování dat: úloha „all-words“ („all-words-text“) zahrnuje zpracování všech slov přítomných v textu na nejednoznačnost (musí být vyřešena absolutně všechna slova v korpusu ), úkolem „lexikální vzorek“ („omezená množina“) je povolit pouze předem definovaná cílová slova umístěná v našem korpusu. První typ má být realističtější odhad, ale mnohem pracnější z hlediska ověřování výsledků. Kvůli potížím s testováním druhého byly na prvních konferencích prováděny pouze testy testovací sada, ale obě byly později zahrnuty do testování.
V případě úkolu „omezený soubor slov“ museli organizátoři zvolit právě ta klíčová slova, na kterých měly být systémy testovány. Kritika aktivit, které se odehrály před Sensevalem, byla, že tyto vzorky ze sady byly vybrány z rozmaru experimentátorů. V Senseval'e se tomu snažili vyhnout výběrem libovolných slov, rozdělených do skupin podle slovních druhů, frekvence a stupně nejednoznačnosti. Také ohledně zařazení problému určování slovního druhu do programu WSD se vedly velké kontroverze, a tak se organizátoři rozhodli do vzorku slov zařadit jak jasně označené slovní druhy, tak určitý počet neurčitých.
sbor . Je potřeba si ujasnit, co je označený text a co neoznačený text. Nepřidělený korpus je v podstatě množství běžných textů, které obsahují potřebný počet zmínek o slovech, která je třeba „vyřešit“. Označená je stejná sbírka textů, ale s tím rozdílem, že všechna zmíněná slova obsahují informace přiřazené (například jako tag nebo jiné metainformace) o významu slov použitých v těchto kontextech.
Jak značkované texty (systémy učení pod dohledem), tak texty bez označení (systémy učení bez dozoru) mohou sloužit jako školicí materiál pro naše systémy pro řešení lexikální polysémie. Tento proces probíhá takto: několik lingvistů-lexikografů projde celý text a v souladu se slovníkem významů přiřadí všem slovům z daného vzorku testovaných slov metainformace o významu slov použitých v těchto kontextech. polysémie. Poté se pro každé slovo vytvoří jakési kvorum z rozhodnutí lexikografů a rozhodne se o významu, v jakém je zde použito, načež se přijaté tagy přidají ke konečné verzi textu; jinými slovy, všechna použití slov, která jsme vybrali, jsou doplněna nezbytnými metainformacemi.
Poté je tělo rozděleno na tři části. První, tzv. dry-run distribuce (angl. "preeliminary run") umožňuje týmům upravit a přizpůsobit své programy typu a struktuře informací dodávaných na vstup; obsahuje minimum požadovaných informací.
Druhá část se nazývá cvičná distribuce, obsahující slovníková hesla a korpus s metainformacemi o významech cílových slov), která umožňuje trénovat konkurenční programy na správnou volbu správných významů slov; je předán všem týmům ihned po předkole. Počet kontextů potřebných pro slova se může značně lišit (od několika do více než 1000) a závisí na počtu dostupných kontextů. Pak přichází fáze tréninku.
Poslední část, nazvaná rozdělení hodnocení , bez metainformací o významech cílových slov, dostupná po absolvování výukových programů, umožňuje vypočítat přesnost algoritmů. Každý kontext byl ručně anotován nejméně třemi lidmi, ale tyto metainformace nebyly zahrnuty do šířených dat, protože jsou ověřovány. Všechny programy procházející tímto vzorkem potřebovaly pro každý kontext vypočítat nejpravděpodobnější význam použitého slova (nebo seznam hodnot s jejich odpovídajícími pravděpodobnostmi); po odeslání dat organizátorům automaticky obdrží výsledky porovnáním s vlastními (protože hodnotící vzorek i tréninkový obsahuje vyznačené použití slov).
Skupiny a základní linie . Je třeba poznamenat, že všechny algoritmy fungují odlišně a využívají různé zdroje informací, takže byly všechny rozděleny do skupin podle způsobu zpracování textu: metody učení pod dohledem a metody učení bez dozoru. Pro srovnání s již známými algoritmy (tzv. startovací body - základní linie ) byly publikovány i jejich výsledky, například všechny možné varianty Lesk algoritmu .
Dále, protože úloha WSD vyžaduje slovník hodnot a korpus , museli organizátoři pro projekt vybrat některé z existujících. WordNet a SemCor jsou nejoblíbenějšími příklady výše uvedených nezbytných komponent, jejich použití by však experiment znečišťovalo, protože tyto znalostní báze již byly opakovaně „vyzdvihovány“ v různých studiích a hodnoceních, tedy neúplné verze, které byly dříve nedostupné resp. vlastnoručně vyrobené organizátory jsou většinou vybrány pro testování obou věcí (např. na Senseval-1 obě poskytl projekt HECTOR [41] ).
Přesnost algoritmů . Při hodnocení téměř jakéhokoli klasifikačního algoritmu pro jakékoli objekty se používají dvě nejběžnější měřítka hodnocení - přesnost a zapamatovatelnost ( angl. Precision and reminiscence ):
Pokud však systém anotuje každé slovo nebo je výsledek vypočítán pro všechny třídy najednou, přesnost a vyvolání jsou stejné hodnoty – říká se tomu přesnost výpočtů přesnost výpočtů ( angl. Accuracy ). Tento model byl rozšířen pro použití, když algoritmy vytvářejí seznam hodnot s jejich příslušnými pravděpodobnostmi.
Workshopy Senseval jsou nejlepším příkladem, jak se naučit ty nejlepší výsledky ze systémů WSD a budoucích směrů výzkumu v této oblasti. Z analýzy a shrnutí pozdějších konferencí lze vyvodit určité závěry:
Pro pochopení obecného stavu oboru a úrovně dosažené nejlepšími disambiguačními systémy je nutné analyzovat a pečlivě prostudovat nejlepší výsledky a jejich vlastnosti:
| zpracování přirozeného jazyka | |
|---|---|
| Obecné definice | |
| Analýza textu |
|
| Odkazování |
|
| Strojový překlad |
|
| Identifikace a sběr dat | |
| Tematický model | |
| Peer review |
|
| Rozhraní přirozeného jazyka | |