Learning to rank ( learning to rank or machine-learned ranking, MLR ) [1] je třída úloh strojového učení pod dohledem , které spočívají v automatickém výběru hodnotícího modelu z trénovací sady sestávající ze sady seznamů a daných dílčích objednávek prvků. v každém seznamu. Částečné pořadí je obvykle specifikováno určením skóre pro každou položku (např. „relevantní“ nebo „nepodstatné“; jsou možné více než dvě gradace). Cílem hodnotícího modelu je co nejlépe (v určitém smyslu) aproximovat a zobecnit metodu hodnocení v trénovací sadě na nová data.
Ranking learning je stále poměrně mladá, rychle se rozvíjející oblast výzkumu, která vznikla v roce 2000 se vznikem zájmu o oblast vyhledávání informací při aplikaci metod strojového učení na problémy s hodnocením.
Ve vztahu k vyhledávačům je každý seznam souborem dokumentů, které splňují nějaký vyhledávací dotaz.
Tréninkový vzorek se skládá ze vzorku vyhledávacích dotazů, podmnožiny dokumentů, které jim odpovídají, a odhadů relevance každého dokumentu k dotazu. Mohou být připraveny jak ručně, speciálně vyškolenými lidmi (hodnotiteli kvality vyhledávání nebo hodnotitelé ), nebo automaticky, na základě analýzy kliknutí uživatelů [2] nebo nástrojů vyhledávače, jako je systém SearchWiki vyhledávače Google .
Během trénování hodnotícího modelu a během jeho provozu je každý pár dokument-žádost přeložen do číselného vektoru hodnotících prvků (také nazývaných hodnotící faktory nebo signály), které charakterizují vlastnosti dokumentu, dotaz a jejich vztah. Tyto znaky lze rozdělit do tří skupin:
Níže jsou uvedeny některé příklady hodnotících funkcí používaných ve známém datovém souboru LETOR v této oblasti výzkumu : [5]
Existuje několik metrik, které vyhodnocují a porovnávají výkon hodnotících algoritmů na vzorku s partnerskými recenzemi. Parametry hodnotícího modelu mají často tendenci být upraveny tak, aby se maximalizovala hodnota jedné z těchto metrik.
Příklady metrik:
Tai-Yan Liu z Microsoft Research Asia ve svém článku „Learning to Rank for Information Retrieval“ [1] a prezentacích na tematických konferencích analyzoval metody, které jsou v současné době k dispozici pro řešení problému učení se hodnotit, a navrhl jejich klasifikaci do tří přístupů v závislosti na na reprezentaci použitých vstupních dat a penalizační funkci:
V bodovém přístupu se předpokládá , že každému páru dotaz-dokument je přiřazeno číselné skóre. Úkol naučit se hodnotit je redukován na vytváření regrese : pro každý jednotlivý pár dotaz-dokument je nutné předpovědět jeho skóre.
V rámci tohoto přístupu lze na regresní problémy použít mnoho algoritmů strojového učení. Když skóre může nabývat pouze několika hodnot, lze také použít algoritmy pro ordinální regresi a klasifikaci.
V párovém přístupu spočívá učení se řazení na vytvoření binárního klasifikátoru, který obdrží dva dokumenty odpovídající stejnému dotazu jako vstup a je nutné určit, který z nich je lepší.
Příklady algoritmů: [1] RankNet, FRank, RankBoost, RankSVM, IR-SVM.
Seznamový přístup spočívá v sestavení modelu, jehož vstupem jsou okamžitě všechny dokumenty, které odpovídají dotazu, a výstupem je jejich permutace . Přizpůsobení parametrů modelu se provádí za účelem přímé maximalizace jedné z výše uvedených hodnoticích metrik. To je ale často obtížné, protože hodnotící metriky obvykle nejsou spojité a nediferencovatelné s ohledem na parametry hodnotícího modelu, takže se uchylují k maximalizaci některých svých aproximací nebo nižších odhadů.
Příklady algoritmů: [1] SoftRank, SVM mapa , AdaRank, RankGP, ListNet, ListMLE.
Vyhledávače mnoha moderních internetových vyhledávačů, včetně Yandex , Yahoo [7] a Bing , používají modely hodnocení vytvořené metodami strojového učení. Vyhledávání Bingu používá algoritmus RankNet . [8] Nejnovější hodnotící algoritmus strojového učení vyvinutý a používaný ve vyhledávači Yandex se nazývá MatrixNet; [9] Samotný Yandex sponzoroval soutěž Internet Mathematics 2009 [10] s cílem vytvořit hodnotící algoritmus na základě vlastního souboru dat.
V rozhovoru na začátku roku 2008 Peter Norvig , ředitel výzkumu ve společnosti Google , řekl, že jejich vyhledávač ještě není připravený zcela svěřit hodnocení algoritmům strojového učení, a uvedl skutečnost, že za prvé, automaticky generované modely se mohou chovat nepředvídatelně na nových třídy dotazů, které nejsou podobné dotazům z trénovacího vzorku ve srovnání s modely vytvořenými lidskými experty. Za druhé, tvůrci současného algoritmu hodnocení Google jsou přesvědčeni, že jejich model je také schopen řešit problémy efektivněji než strojové učení. [11] První důvod je pro nás mnohem významnější, protože se nejen vrací k tak známému problému v induktivní logice, který formuloval německý matematik C.G. Hempel a v rozporu s intuicí (výrok „všichni havrani jsou černí“ je logicky ekvivalentní „všechny nečerné předměty nejsou havrani“), ale zároveň nás nutí vracet se k řadě nevyřešených problémů F. Rosenblatta, který vytvořil svět první neuronová síť schopná vnímání a tvorby odpovědi na vnímaný podnět - jednovrstvý perceptron. [12] Na základě kritiky Rosenblattova elementárního perceptronu můžeme porozumět celé zranitelnosti tohoto hodnotícího modelu, o kterém nám říkají experti Google: jsou umělé systémy schopny zobecnit svou individuální zkušenost na širokou třídu situací, na které byla reakce nebyl jim sdělen předem? Ne, individuální zkušenost s umělými systémy v praxi je vždy omezená a nikdy úplná. Tak či onak vám nástroje strojového učení umožňují vyřešit problém spamdexingu s poměrně vysokou mírou účinnosti. [13]
| Strojové učení a dolování dat | |
|---|---|
| Úkoly | |
| Učení s učitelem | |
| shluková analýza | |
| Redukce rozměrů | |
| Strukturální prognózy | |
| Detekce anomálií | |
| Grafové pravděpodobnostní modely | |
| Neuronové sítě | |
| Posílení učení |
|
| Teorie | |
| Časopisy a konference |
|