Rozpoznávání řeči

Rozpoznávání řeči  je automatický proces převodu řečového signálu na digitální informace (například textová data ). Inverzním problémem je syntéza řeči .

Historie

První zařízení pro rozpoznávání řeči se objevilo v roce 1952 , dokázalo rozpoznat čísla vyslovená osobou . [1] V roce 1962 byl IBM Shoebox představen na New York Computer Technology Fair .

V roce 1963 byla ve Spojených státech představena miniaturní rozpoznávací zařízení s optickým paměťovým zařízením s názvem „Septron“ ( Sceptron , ale vyslovováno [ˈseptrɑːn] bez „k“), vyvinuté inženýry společnosti Sperry Corporation, [2] provádění jedné nebo druhé sekvence akcí na určité fráze vyslovené lidským operátorem. "Septrony" byly vhodné pro použití v oblasti pevné (drátové) komunikace pro automatizaci vytáčení hlasem a automatický záznam diktovaného textu dálnopisem , mohly být použity ve vojenské sféře (pro hlasové ovládání složitých vzorků vojenské techniky ), letectví (vytvořit „chytrou avioniku “, která reaguje na pilota a členů posádky),povely automatizované řídicí systémy atd. [2] [3] [4] řídící signály do palubního zařízení a jednoslabičný hlas, který mu odpovídá ohledně možnost realizace jím stanoveného úkolu [5] .

Komerční programy pro rozpoznávání řeči se objevily na počátku devadesátých let. Obvykle je používají lidé, kteří kvůli zranění ruky nejsou schopni napsat velké množství textu. Tyto programy (jako je Dragon NaturallySpeaking, VoiceNavigator) převést hlas uživatele do textu, a tím uvolnit jeho ruce. Spolehlivost překladu takových programů není příliš vysoká, ale v průběhu let se postupně zlepšuje.

Nárůst výpočetního výkonu mobilních zařízení umožnil vytvářet pro ně programy s funkcí rozpoznávání řeči. Mezi takovými programy stojí za zmínku aplikace Microsoft Voice Command, která vám umožňuje pracovat s mnoha aplikacemi pomocí vašeho hlasu. Můžete například povolit přehrávání hudby v přehrávači nebo vytvořit nový dokument.

Používání rozpoznávání řeči je stále populárnější v různých oblastech podnikání, například lékař na klinice může vyslovit diagnózy, které se okamžitě zapíší do elektronické karty. Nebo jiný příklad. Každý jistě alespoň jednou v životě snil o tom, že pomocí hlasu zhasne světlo nebo otevře okno. V poslední době se systémy automatického rozpoznávání a syntézy řeči stále více používají v telefonních interaktivních aplikacích. V tomto případě se komunikace s hlasovým portálem stává přirozenější, protože výběr v něm lze provádět nejen pomocí tónové volby, ale také pomocí hlasových příkazů. Systémy rozpoznávání jsou přitom nezávislé na mluvčích, to znamená, že rozpoznávají hlas jakékoli osoby.

Za další krok v technologiích rozpoznávání řeči lze považovat vývoj tzv. rozhraní pro tichý přístup (SSI). Tyto systémy zpracování řeči jsou založeny na příjmu a zpracování řečových signálů v rané fázi artikulace. Tato fáze ve vývoji rozpoznávání řeči je způsobena dvěma významnými nedostatky moderních rozpoznávacích systémů: nadměrnou citlivostí na hluk a také potřebou čisté a zřetelné řeči při přístupu k rozpoznávacímu systému. Přístup založený na SSI spočívá v použití nových bezšumových senzorů k doplnění zpracovaných akustických signálů.

Klasifikace systémů rozpoznávání řeči

Systémy rozpoznávání řeči jsou klasifikovány: [6]

U systémů automatického rozpoznávání řeči je odolnost proti šumu zajištěna především použitím dvou mechanismů: [7]

Metody a algoritmy pro rozpoznávání řeči

„...je zřejmé, že algoritmy zpracování řečových signálů v modelu percepce řeči by měly používat stejný systém pojmů a vztahů, jaké používá osoba“ [8] [9] .

Dnes jsou systémy rozpoznávání řeči postaveny na principech rozpoznávání[ kým? ] formy uznání [ neznámý termín ] . Dosud používané metody a algoritmy lze rozdělit do následujících velkých tříd: [10] [11]

Klasifikace metod rozpoznávání řeči na základě srovnání se standardem.

  • Dynamické programování - dočasné dynamické algoritmy (Dynamic Time Warping).

Kontextově závislá klasifikace. Při jeho implementaci se od řečového proudu odlišují samostatné lexikální prvky – fonémy a alofony, které se následně spojují do slabik a morfémů.

  • Metody diskriminační analýzy založené na bayesovské diskriminaci;
  • Skryté Markovovy modely;
  • Neuronové sítě (neuronové sítě).

Algoritmus dynamické transformace časové osy se používá k určení, zda řečové signály představují stejnou původní mluvenou frázi.

Architektura rozpoznávacích systémů

Jedna z architektur systémů automatického zpracování řeči založená na statistických datech může být následující. [12] [13]

  • Modul redukce šumu a užitečné oddělení signálu.
  • Akustický model – umožňuje vyhodnotit rozpoznání řečového segmentu z hlediska podobnosti na úrovni zvuku. Pro každý zvuk je zpočátku sestaven komplexní statistický model, který popisuje výslovnost tohoto zvuku v řeči.
  • Jazykový model – umožňují určit nejpravděpodobnější posloupnosti slov. Složitost sestavení jazykového modelu do značné míry závisí na konkrétním jazyce. Pro anglický jazyk tedy stačí použít statistické modely (tzv. N-gramy). U vysoce flektivních jazyků (jazyků, ve kterých existuje mnoho forem stejného slova), ke kterým ruština patří, již jazykové modely postavené pouze pomocí statistiky nedávají takový účinek - ke spolehlivému posouzení statistik je potřeba příliš mnoho dat. vztahy mezi slovy. Proto se používají hybridní jazykové modely, které využívají pravidla ruského jazyka, informace o slovním druhu a tvaru slova a klasický statistický model.
  • Dekodér je softwarová součást rozpoznávacího systému, která kombinuje data získaná při rozpoznávání z akustických a jazykových modelů a na základě jejich kombinace určuje nejpravděpodobnější sekvenci slov, která je konečným výsledkem nepřetržitého rozpoznávání řeči.

Fáze uznání [12]

  1. Zpracování řeči začíná posouzením kvality řečového signálu. V této fázi se určuje úroveň rušení a zkreslení.
  2. Výsledek vyhodnocení vstupuje do modulu akustické adaptace, který řídí modul pro výpočet parametrů řeči potřebných pro rozpoznání.
  3. V signálu se vyberou segmenty obsahující řeč a vyhodnotí se parametry řeči. Je zde výběr fonetických a prozodických pravděpodobnostních charakteristik pro syntaktickou, sémantickou a pragmatickou analýzu. (Vyhodnocení informací o slovním druhu, tvaru slova a statistických vztazích mezi slovy.)
  4. Dále parametry řeči vstupují do hlavního bloku rozpoznávacího systému - dekodéru. Jedná se o komponentu, která porovnává vstupní proud řeči s informacemi uloženými v akustických a jazykových modelech a určuje nejpravděpodobnější sekvenci slov, což je konečný výsledek rozpoznávání.

Známky emocionálně zabarvené řeči v systémech rozpoznávání

Základní pojmy, které charakterizují parametry lidské řeči spojené s tvarem, velikostí, dynamikou změn řečotvorného traktu a popisují emoční stav člověka, lze rozdělit do čtyř skupin objektivních znaků, které umožňují rozlišovat mezi řečí vzory: spektrálně-temporální, kepstrální, amplitudově-frekvenční a znaky nelineární dynamiky. Další podrobnosti, každá skupina funkcí: [9] [14] [15]

Spektrálně-časové vlastnosti

Spektrální vlastnosti:

  • Průměrná hodnota spektra analyzovaného řečového signálu;
  • Normalizované průměry spektra;
  • Relativní doba zdržení signálu v pásmech spektra;
  • Normalizovaná doba zdržení signálu v pásmech spektra;
  • Střední hodnota spektra řeči v pásmech;
  • Relativní síla spektra řeči v pásmech;
  • Variace obálek řečového spektra;
  • Normalizované hodnoty variace obálek řečového spektra;
  • Koeficienty vzájemné korelace spektrálních obálek mezi pásmy spektra.

Dočasná znamení:

  • Trvání segmentu, fonémy;
  • výška segmentu;
  • Faktor tvaru segmentu.

Spektrálně-časové vlastnosti charakterizují řečový signál v jeho fyzikální a matematické podstatě založené na přítomnosti tří typů složek:

  1. periodické (tónové) úseky zvukové vlny;
  2. neperiodické úseky zvukové vlny (hluk, výbušnina);
  3. sekce, které neobsahují řečové pauzy.

Spektrálně-časové vlastnosti umožňují reflektovat originalitu tvaru časové řady a spektra hlasových impulsů u různých jedinců a vlastnosti filtračních funkcí jejich řečových traktů. Charakterizují rysy toku řeči spojené s dynamikou restrukturalizace artikulačních orgánů řeči mluvčího a jsou integrálními charakteristikami řečového toku, odrážející zvláštnost vztahu nebo synchronismu pohybu artikulačních orgánů řeči. mluvčí.

Cepstrální znamení
  • Mel-frekvenční kepstrální koeficienty;
  • Koeficienty lineární predikce korigované pro nerovnoměrnou citlivost lidského ucha;
  • Účiníky registrační frekvence;
  • Spektrální koeficienty lineární predikce;
  • Koeficienty kepstru lineární predikce.

Většina moderních systémů automatického rozpoznávání řeči se zaměřuje na extrakci frekvenční odezvy lidského vokálního traktu, přičemž zahazuje charakteristiky budícího signálu. To se vysvětluje tím, že koeficienty prvního modelu poskytují lepší oddělitelnost zvuků. K oddělení excitačního signálu od signálu vokálního traktu se používá kepstrální analýza .

Amplitudo-frekvenční vlastnosti
  • Intenzita, amplituda
  • Energie
  • Pitch Frequency (PCH)
  • Formantové frekvence
  • Jitter (jitter) - frekvenční modulace jitteru základního tónu (parametr šumu);
  • Shimmer (shimmer) - amplitudová modulace na základním tónu (parametr šumu);
  • Radiální báze jaderné funkce
  • Nelineární operátor Teager

Vlastnosti amplitudy a frekvence umožňují získat odhady, jejichž hodnoty se mohou lišit v závislosti na parametrech diskrétní Fourierovy transformace (typ a šířka okna), jakož i s malými posuny okna nad vzorkem. . Řečový signál akusticky představuje zvukové vibrace složité struktury šířící se vzduchem, které jsou charakterizovány ve vztahu k jejich frekvenci (počet vibrací za sekundu), intenzitě (amplituda oscilace) a trvání. Amplitudově-frekvenční znaky přenášejí potřebné a dostatečné informace pro člověka na řečovém signálu s minimální dobou vnímání. Využití těchto znaků ale neumožňuje jejich plné využití jako nástroje pro identifikaci emocionálně zabarvené řeči.

Známky nelineární dynamiky
  • Poincarého mapování;
  • Rekurzivní graf;
  • Maximálním charakteristickým ukazatelem Ljapunova je emoční stav člověka, který odpovídá určité geometrii atraktoru (fázový portrét); [16]
  • Fázový portrét (atraktor);
  • Kaplan-Yorkova dimenze je kvantitativním měřítkem emočního stavu člověka, od „klidu“ po „zlost“ (deformace a následný posun spektra řečových signálů). [16] .

Pro skupinu znaků nelineární dynamiky je řečový signál považován za skalární hodnotu pozorovanou v systému hlasových cest člověka. Proces produkce řeči lze považovat za nelineární a lze jej analyzovat metodami nelineární dynamiky. Úkolem nelineární dynamiky je najít a podrobně prostudovat základní matematické modely a reálné systémy, které vycházejí z nejtypičtějších návrhů o vlastnostech jednotlivých prvků tvořících systém a zákonitostech interakce mezi nimi. V současnosti jsou metody nelineární dynamiky založeny na fundamentální matematické teorii, která je založena na Takensově teorému, který přináší rigorózní matematický základ myšlenkám nelineární autoregrese a dokazuje možnost obnovení fázového portrétu atraktoru z časové řady nebo z jedné z jejích souřadnic. (Atraktor je množina bodů nebo podprostoru ve fázovém prostoru, ke kterému se fázová trajektorie přibližuje po rozpadu přechodových jevů.) Odhady signálových charakteristik z rekonstruovaných trajektorií řeči se používají při konstrukci nelineárního deterministického fázového prostoru. modely sledovaných časových řad. Odhalené rozdíly ve formě atraktorů lze využít pro diagnostická pravidla a rysy, které umožňují rozpoznat a správně identifikovat různé emoce v emočně zabarveném řečovém signálu.

Možnosti kvality řeči

Parametry kvality řeči pro digitální kanály: [17]

  • Slabičná srozumitelnost řeči;
  • Frázová srozumitelnost řeči;
  • Kvalita řeči ve srovnání s kvalitou řeči referenční cesty;
  • Kvalita řeči v reálných pracovních podmínkách.

Základní pojmy

  • Srozumitelnost řeči je poměrný počet správně přijatých řečových prvků (zvuků, slabik, slov, frází), vyjádřený v procentech z celkového počtu přenášených prvků.
  • Kvalita řeči je parametr, který charakterizuje subjektivní hodnocení zvuku řeči v testovaném systému přenosu řeči.
  • Normálním tempem řeči je řeč rychlostí, při které je průměrná doba trvání kontrolní fráze 2,4 sekundy.
  • Zrychlená rychlost řeči - mluvení rychlostí, při které je průměrná doba trvání kontrolní fráze 1,5-1,6 s.
  • Rozpoznatelnost hlasu mluvčího je schopnost posluchačů identifikovat zvuk hlasu s konkrétní osobou, kterou posluchač dříve znal.
  • Sémantická srozumitelnost je ukazatelem míry správné reprodukce informačního obsahu řeči.
  • Integrální kvalita je ukazatel, který charakterizuje celkový dojem posluchače z přijímaného projevu.

Aplikace

Za hlavní výhodu hlasových systémů byla deklarována uživatelská přívětivost . Řečové příkazy měly koncového uživatele ušetřit nutnosti používat dotykové a další způsoby zadávání dat a příkazů.

Úspěšné příklady použití technologie rozpoznávání řeči v mobilních aplikacích jsou: zadání adresy hlasem do Yandex.Navigator, hlasové vyhledávání Google Now.

Kromě mobilních zařízení je technologie rozpoznávání řeči široce používána v různých obchodních oblastech:

  • Telefonie: automatizace zpracování příchozích a odchozích hovorů vytvářením samoobslužných hlasových systémů, zejména pro: získávání podkladových informací a poradenství, objednávání služeb / zboží, změnu parametrů stávajících služeb, provádění průzkumů, dotazování, sběr informací, informování a jakékoli další scénáře;
  • Řešení "Smart Home": hlasové rozhraní pro správu systémů "Smart Home";
  • Domácí spotřebiče a roboti: hlasové rozhraní elektronických robotů; hlasové ovládání domácích spotřebičů atd.;
  • Stolní počítače a notebooky: hlasový vstup v počítačových hrách a aplikacích;
  • Auta: hlasové ovládání v interiéru vozu – například navigační systém;
  • Sociální služby pro osoby se zdravotním postižením.

Viz také

Poznámky

  1. ↑ Davies, KH, Biddulph, R. a Balashek, S. (1952) Automatické rozpoznávání řeči mluvených číslic , J. Acoust. soc. Dopoledne. 24 (6) str. 637-642
  2. ↑ 1 2 Klass, Philip J. Zařízení s optickými vlákny rozpoznává signály . // Aviation Week & Space Technology . - NY: McGraw-Hill , 1962. - Sv. 77 - č.p. 20 - S. 94-101.
  3. ↑ Paměťové buňky . // Vojenská revue . - Duben 1963. - Sv. 43 - ne. 4 - S. 99.
  4. ↑ Armagnac, Alden P. "Řekni to Sceptronovi!" // Populární věda . - Duben 1963. - Sv. 182 - č.p. 4 - S. 120.
  5. ↑ Hlasem ovládaný počítač testován . // Dělostřelectvo protivzdušné obrany . - Jaro 1983. - Ne. 2 - str. 54.
  6. ↑ Účet pozastaven . Získáno 10. března 2013. Archivováno z originálu dne 27. listopadu 2013.
  7. ↑ Moderní problémy v oblasti rozpoznávání řeči. . Získáno 6. června 2020. Archivováno z originálu dne 6. června 2020.
  8. ↑ http://phonoscopic.rf/articles_and_publications/Lobanova_Search_of_identical_fragments.pdf  (nepřístupný odkaz)
  9. ↑ 1 2 Zdroj . Získáno 29. dubna 2013. Archivováno z originálu 21. srpna 2013.
  10. ↑ Zdroj . Získáno 25. dubna 2013. Archivováno z originálu 15. září 2012.
  11. ↑ Zdroj . Získáno 25. dubna 2013. Archivováno z originálu 22. prosince 2014.
  12. ↑ 1 2 Rozpoznávání řeči | Centrum řečových technologií | MDG . Získáno 20. dubna 2013. Archivováno z originálu 28. dubna 2013.
  13. ↑ Zdroj . Získáno 29. dubna 2013. Archivováno z originálu 4. března 2016.
  14. ↑ Analýza znaků emocionálně zabarveného textu . Získáno 6. června 2020. Archivováno z originálu dne 6. června 2020.
  15. ↑ Zdroj . Získáno 1. 5. 2013. Archivováno z originálu 4. 3. 2016.
  16. ↑ 1 2 Disertační práce na téma "Výzkum psychofyziologického stavu člověka na základě emočních znaků řeči" abstrakt na odbornost VAK 17. 5., 13. 01. - Zařízení .... Získáno 30. dubna 2013. Archivováno z originálu 14. října 2013.
  17. ↑ GOST R 51061-97. PARAMETRY KVALITY ŘEČI. SYSTÉMY PŘENOSU NÍZKORYCHLOSTNÍ ŘEČI PŘES DIGITÁLNÍ KANÁLY. (nedostupný odkaz) . Získáno 29. dubna 2013. Archivováno z originálu 3. září 2014. 

Odkazy

  Přejděte na položku Wikidata  Slovníky a encyklopedie
V bibliografických katalozích