Joanna Rutkowská | |
---|---|
Joanna Rutkowská | |
Datum narození | 1981 |
Místo narození | Varšava , Polsko |
Země | |
Vědecká sféra | Informační bezpečnost |
Místo výkonu práce | Laboratoře neviditelných věcí |
Alma mater | Varšavská technická univerzita |
známý jako |
autor softwaru Blue Pill , autor Qubes OS |
webová stránka | invisiblethingslab.com |
Mediální soubory na Wikimedia Commons |
Joanna Rutkowska [1] ( polsky Joanna Rutkowska ; 1981 , Varšava ) je polská specialistka a výzkumnice v oblasti informační bezpečnosti. Známá především pro svůj výzkum nízkoúrovňového zabezpečení a skrytého softwaru [2] .
Mluví o sobě [3] takto : Jsem výzkumník, který se zaměřuje na bezpečnostní problémy na úrovni systému, jako je jádro, hypervizor, čipová sada atd. Výzkumník, ne lovec zranitelností nebo tester. Spíš mě zajímají zásadní problémy, než nějaké konkrétní "díry" v nějakých uživatelských programech. Může například operační systém nebo platforma poskytnout uživateli nějakou ochranu, i když by aplikace jako Adobe Reader nebo IE mohly být potenciálně ohroženy? Věřím v „bezpečnost prostřednictvím izolace“. |
Po jejím vystoupení v Black Hat v roce 2006 ji mnoho publikací začalo nazývat hackerkou , ale samotná Joanna je proti, když to uvedla v rozhovoru na konci roku 2007 [4] :
Nepovažuji se za hackera (i když jsem tak často nazýván v tisku). Považuji se za výzkumnici v oblasti počítačové bezpečnosti a v poslední době i za podnikatelku. |
Narozen v roce 1981 ve Varšavě v Polsku . Svůj první počítač jsem dostal v 11 letech [5] . Staly se jimi PC / AT 286 , vybavené procesorem pracujícím na frekvenci 16 MHz , 2 MB paměti [3] a 40 MB pevným diskem [5] .
Měl monochromatickou grafickou kartu Hercules a většina her na něm nefungovala, takže mi nezbylo, než se pustit do programování.Joanna Rutkowska [5]
Téměř okamžitě jsem se seznámil s GW-BASIC a asi o rok později jsem přešel na Borland Turbo Basic [3] . Joanna začala programovat a začala se zajímat o to, jak operační systém funguje. Asi ve 14 letech se začala učit assembler pro architekturu x86 (na MS-DOS ) a postupně přešla k psaní virů, poté se zaměřila více na matematiku a umělou inteligenci [6] . Poté začala studovat základy budování sítí, Linux, systémové programování , které na konci 90. let 20. století. přivedl ji zpět do oblasti počítačové bezpečnosti a psaní exploitů pro Linux x86 a poté pro systémy Win32 [7] . Takže, stejně jako mnoho slavných výzkumníků, Joanna začala psát exploity ve svých mladistvých letech [5] .
Joanna udělala svůj první hack poté, co si přečetla notoricky známý článek v časopise Phrack o exploitu na rozbití zásobníku, který také sama zkompilovala a otestovala:
Přečetl jsem si článek a řekl: „Ne, to nemůže fungovat. To je nemožné". Ale fakt to fungovalo.Joanna Rutkowska [5]
O několik let později přestala psát exploity, ale ráda vzpomíná na uspokojení, které přišlo s psaním dobrého exploitu:
Je to úžasné a vzrušující jako kouzelnický trik. Nyní se soustředím na trochu jinou oblast, ale stále sleduji zajímavé exploity.Joanna Rutkowska [5]
Pak se postupně posunula dál: zranitelnosti jádra, rootkity, skryté kanály a tak dále, stejně jako způsoby, jak se se všemi těmito zranitelnostmi vypořádat [7] . V rozhovoru v roce 2007 vzpomíná:
Po období psaní exploitů jsem začal přemýšlet, co dál. Velmi jsem se zajímal o vnitřnosti operačního systému a měl jsem o něm docela dobré znalosti. To mě přivedlo do říše rootkitů.Joanna Rutkowska [5]
Paralelně absolvovala Varšavskou technologickou univerzitu s magisterským titulem v oboru informatika [8] . Podle jejích memoárů tvořily ženy jen asi 5 procent z celkového počtu studentů na fakultě, kde Rutkovskaya studovala matematiku [5] . Její vysokoškolské vzdělání podle jejích slov nemělo s bezpečností mnoho společného [5] . V jednom z rozhovorů tedy řekla, že ačkoliv studovala informatiku na Varšavském polytechnickém institutu, většinu věcí se naučila sama, jako mnoho kolegů z branže [6] .
Kolem roku 2001 se Joanna začala vážně věnovat výzkumu v oblasti počítačové bezpečnosti pro platformy založené na operačních systémech Linux a Win32 ao dva roky později přešla k výzkumu v oblasti programů využívajících technologii stealth [9 ] .
V polovině října 2004 vystoupila Rutkowska na konferenci IT Underground 2004 , která se konala 12. až 13. října ve Varšavě . Přednesla dvě prezentace o rootkitech pro platformy Linux a Win32 a také o metodách jejich detekce. První prezentace „Backdoors v linuxovém jádře a jejich detekce“ [10] byla věnována dvěma způsobům implementace inteligentních kernel backdoorů v Linux Kernel Network Stack pomocí handleru ptypea Netfilteru a také představila originální způsoby jejich detekce, které byly následně úspěšně implementováno v jednom z komerčních nástrojů, které napsala sama Joanna. Představila také myšlenku pasivních skrytých kanálů používaných v popsaných metodách.
Ve druhé prezentaci "Detecting Rootkits on Windows Systems" [11] se diskutovalo o detekci rootkitů na uživatelské úrovni a na úrovni jádra. První polovina prezentace byla věnována použití MS Kernel Debugger (společně s LiveKD) k detekci rootkitů na uživatelské úrovni. Zbytek byl věnován pokročilejším rootkitům na úrovni jádra a také představil některé nápady pro jejich detekci [12] .
Podtextem projevu byla navíc diskuse o způsobech, jak udělat rootkity dokonalejší. Během oběda Yoanna předvedla, jak pomocí prakticky jediné instrukce (někdy označované jako Sinan 's Favorite Instruction ) lze odhalit použití VMware [13] (to je myšlenka, která je základem projektu Red Pill ).
20. října 2004 udělala Joanna svůj první záznam na své osobní webové stránce invisiblethings.org a následující den na ni zveřejnila obě prezentace z ITUnderground [14] .
28. prosince 2004 na Světovém kongresu hackerů , který se konal v Berlíně ( Německo ) od 27. do 29. prosince, představila Joanna zprávu "Pasivní skryté kanály v jádře Linuxu" [15] . Tématem zprávy byly pasivní skryté kanály (zkr. PSC; anglicky pasivní skryté kanály , zkr. PCC ), které negenerují vlastní provoz, ale pouze mění některá pole v paketech vytvořených legálními uživatelskými aplikacemi nebo procesy na infikovaném počítači. .
28. září 2005 přednesla Yoanna prezentaci „Hide and Find: Defining a Way to Detect Malware on Windows“ [16] na konferenci Hack in a Box [17] , která se konala od 26. do 29. září v Kuala Lumpur ( Malajsie ), souběžně s tím, že představí několik svých vývojů, včetně System Virginity Verifier . Hlavním účelem prezentace bylo určit seznam životně důležitých částí operačního systému a metodiku detekce malwaru. Seznam začíná základními věcmi, jako jsou kroky potřebné ke kontrole integrity systému souborů a registru, pak přichází kontrola paměti na úrovni uživatele (identifikace nečestných procesů, škodlivých dynamických knihoven ( DLL ), vstřikovaných streamů atd.) a končí s tak pokročilými věcmi, jako je určení životně důležitých částí jádra, které lze modifikovat moderním malwarem založeným na rootkitech (prostřednictvím metod, jako je Raw IRP hooking , různé DKOM manipulace nebo triky s virtuálními stroji ). Navíc bez ohledu na úplnost tohoto seznamu bude podle Yoanny ke kompromitaci systému malwarem použit pouze určitý počet metod, to znamená, že takový seznam v žádné fázi nemůže být nekonečný a jeho úplnost bude záviset pouze na komunita specialistů. V zásadě by vytvoření takového seznamu mohlo výrazně zvýšit povědomí o hrozbách a v konečném důsledku umožnit vývoj lepších antimalwarových programů. Joanna na své prezentaci představila koncepty takových programů spolu s několika zajímavými malware [18] .
Jako realizaci své představy o popsané komunitě, která se zabývá identifikací metod pro kompromitující systémy, představila Joanna na téže konferenci projekt otevřených metodologií pro detekci kompromitů [19] ( angl. open methods for kompromits detection Tento projekt byl zahájen na samém začátku září Institutem pro bezpečnost a otevřené metodiky [20] (anglicky) Projekt vedený Yoannou měl pracovat na metodice pro detekci malwaru a rootkitů na systémech Windows definovat standard jak pro výzkumníky, tak pro vývojáře nástrojů, které tento proces automatizují [21] .
Dne 25. ledna 2006 měla Joanna prezentaci na Black Hat Federal [22] (eng.) , která se konala od 23. do 26. ledna ve Washingtonu ( USA ), na téma "Hunting pro rootkity proti detekci kompromisů" [23] (anglicky) [24] . Prezentace byla věnována popisu typů systémových kompromitací a také představila popis způsobů, jak může útočník dosáhnout úplné neviditelnosti bez použití klasické technologie rootkit. Během prezentace se Joanna podívala na tradiční triky s rootkity, jako je restart, skrytí procesů a otevřené zásuvky. Představila také svůj nový rootkit DeepDoor (o kterém odmítla prozradit jakékoli podrobnosti), který je schopen prolomit kód NDIS [25] úpravou čtyř slov v oblasti paměti, kam NDIS ukládá svá data. Během ukázky Joanna předvedla, jak její rootkit správně plnil svůj úkol zachycovat provoz, i když firewall ZoneAlarm blokoval jeho přístup. Nakonec Joanna uvedla, že neexistuje žádný bezpečný způsob, jak číst paměť jádra ve Windows. Podle jejího názoru by měl Microsoft umožnit společnostem třetích stran nabízet řešení ochrany paměti jádra. Odborníci, kteří tuto prezentaci sledovali, ji popsali jako působivé dílo a šílenství [26] .
Stejná prezentace byla prezentována 1. února 2006 na konferenci IT-Defense [27] (eng.) , která se konala od 30. ledna do 3. února v Drážďanech v Německu [28] [29] .
Později, na základě předložené klasifikace, konkrétně 24. listopadu 2006, Yoanna zveřejnila rozšířenější verzi své klasifikace malwaru a přidala zejména třetí typ malwaru [30] .
Přesné datum zahájení oficiální spolupráce Joanny s COSEINC není známo. Je však známo, že k tomu došlo kolem března až dubna 2006, jak se Joanna v březnovém rozhovoru popsala jako bezpečnostní výzkumník pracující na projektech bezpečnosti IT pro různé společnosti po celém světě [31] , nicméně na konci června se napsala na svém blogu, že Blue Pill byla vyvinuta exkluzivně pro COSEINC [32] a na tomto projektu začala pracovat v březnu 2006 [33] .
13. května 2006 vystoupila na konferenci o počítačové bezpečnosti CONFidence [34] (Angl.) , která se konala v Krakově od 13. do 14. května [35] [36] . Její zpráva s názvem „ Rootkits vs. Stealth by Design Malware (nepřístupný odkaz) “( Rus. “Rootkity proti neviditelnému malwaru” ), byl věnován problémům souvisejícím s fungováním rootkitů .
22. června 2006 Joanna zveřejnila náhled svého nejnovějšího vývoje Blue Pill na svém blogu , na kterém pracovala několik posledních měsíců. Yoanna popisuje svůj vývoj jako 100% nezjistitelný software. Myšlenka programu byla poměrně jednoduchá: po zavedení Blue Pill na napadeném počítači je cílový operační systém plně pod kontrolou ultratenkého hypervizoru Blue Pill , a to vše se děje za běhu (tj. bez restartování systému). Nedochází také ke ztrátám výkonu, které jsou typické pro všechny „normální“ virtuální stroje, všechna systémová zařízení jsou plně přístupná OS, čehož je dosaženo díky použití technologie AMD , známé jako SVM/Pacifika. Ačkoli tato myšlenka není obecně nová, Joanna popisuje rozdíly od dříve prezentovaného rootkitu SubVirt [32] .
Dne 28. června 2006 portál eWeek publikuje článek „ Prototyp modré pilulky vytváří 100 % nezjistitelný malware “ ( rusky „Prototyp modré pilulky vytváří 100 % nezjistitelný malware “ ), věnovaný vývoji Joanna Blue Pill. Ryan Narayen s odkazem na Yoannin blogový příspěvek v podstatě opakuje to, co Yoanna napsala. Článek vyvolává spoustu hluku a bouřlivých diskuzí. 1. července 2006 sama Joanna píše ve svém článku na blogu " The Blue Pill Hype " ( rusky: "The Blue Pill Excitement" ):
článek je vesměs přesný, s výjimkou jednoho detailu - nadpisu, který je zavádějící. Píše se, že „prototyp modré pilulky, který vytváří 100% nezjistitelný software“, již byl implementován, což není pravda. Pokud by tomu tak bylo, nenazval bych svou implementaci prototypem, což implikuje velmi ranou verzi produktu [37] .
Joanna navíc ve stejném článku popírá fámy, že její práci sponzorovala Intel Corporation (hlavní konkurent AMD na trhu procesorů). Joanna tvrdí, že její práci zaplatil COSEINC Research, pro který v té době pracovala, a vůbec ne Intel. Joanna implementovala Blue Pill pouze na architektuře AMD64 , protože její předchozí výzkum (provedený také pro COSEINC) se týkal Vista x64, což je místo, kde byl zakoupen procesor AMD64 ke spuštění. A i přes touhu převést Blue Pill na Intel VT to Joanna nemá žádné bezprostřední plány kvůli nedostatku volného času.
21. července 2006 Joanna zakončila konferenci SyScan '06, která se konala 20. až 21. července 2006 v Singapuru [38] . Organizátorem této konference je Thomas Lim , CEO společnosti COSEINC , kde Joanna v té době pracovala. Prezentace Yoanny se oficiálně jmenovala „Subverting Vista Kernel for Fun and Profit“ a skládala se ze dvou částí. V prvním díle demonstrovala obecný způsob (tedy bez spoléhání se na nějakou konkrétní chybu), jak vložit škodlivý kód do nejnovější 64bitové verze jádra Windows Vista Beta 2, čímž úspěšně obchází hojně propagované podepisování kódu Vista. šek. Prezentovaný útok navíc ani nevyžadoval restart systému.
Druhá část projevu byla (neformálně, protože šlo v podstatě o podtitul) nazvaná "Introducing Blue Pill" ( rusky "Introducing Blue Pill" ), v rámci které představuje svůj nový vývoj "Blue Pill". Obecným cílem projevu bylo ukázat možnost vytvoření (brzy nebo již) nedetekovatelného malwaru, který, není-li vázán na žádný koncept, bude představovat hrozbu jako určitý algoritmus [39] .
3. srpna 2006 na konferenci Black Hat Briefings v Las Vegas opět prezentuje svůj vývoj Blue Pill , ale jelikož tato konference přitahuje značnou pozornost odborných publikací, udělal tento vývoj v IT komunitě velký hluk a přinesl Yoanně svět sláva. Na této konferenci Microsoft představil svůj nový operační systém Windows Vista širokému spektru IT profesionálů. Během demonstrace byly distribuovány pre-release kopie OS (ve skutečnosti se jednalo o kopie poslední stabilní verze systému v té době) [40] . V březnu 2006 již Microsoft uspořádal speciální schůzku s hackery (nazvanou „Blue Hat 3“), během níž se diskutovalo o obecných bezpečnostních otázkách [41] . S ohledem na obdržené informace proto zástupci Microsoftu umístili Vistu jako nejbezpečnější operační systém Windows. Během prezentace John Lambert , šéf divize Microsoftu, hovořil o opravených systémových zranitelnostech dříve nalezených v beta verzích [40] . Po chvíli byla řada na Joanně, aby promluvila. Při její prezentaci byl celý sál zaplněn do posledního místa, přestože se jednalo o poslední projev posledního dne v rámci bezpečnostní konference Black Hat. Pro výzkum a demonstraci použila Joanna jednu z prvních testovacích verzí systému Windows Vista. Microsoft jako jeden ze způsobů ochrany systému implementoval mechanismus pro blokování nepodepsaného kódu (tedy bez digitálního podpisu ) v 64bitové verzi svého systému. Joanna však našla způsob, jak tuto kontrolu obejít. Útok vyžaduje administrátorská práva, která by teoreticky měla být blokována mechanismem Řízení uživatelských účtů (UAC), který omezuje uživatelská práva a v případě potřeby vyžaduje potvrzení uživatele k provedení důležitých operací. Když se však Joanna zeptala, jak dokázala obejít UAC, odpověděla: „Právě jsem klikla na „Přijmout“ a vysvětlila, že tato zpráva se uživatelům zobrazuje tak často, že na ni automaticky reagují, aniž by tomu ve skutečnosti rozuměli. Během prezentace sama Joanna uvedla následující:
To, že je tento mechanismus obejit, neznamená, že je Vista zcela nezabezpečená. Není to tak bezpečné, jak je inzerováno. Je extrémně obtížné implementovat 100% zabezpečení jádra.
Svůj projev zakončila představením již tak senzačního projektu Modrá pilulka [42] .
Reakce Microsoftu byla poměrně klidná. Austin Wilson tedy 7. srpna 2006 napsala na jeden z oficiálních blogů společnosti věnovaných bezpečnosti systému Windows Vista následující text a zdůraznila, že má v napadeném systému administrátorská práva:
Joanna je bezpochyby nesmírně talentovaná. Předvedla způsob, jak někdo s právy správce může vložit nepodepsaný kód do jádra 64bitových verzí Windows Vista. Někteří to brali tak, že některé bezpečnostní inovace Microsoftu jsou zbytečné. To není pravda. Důležité je pochopit dvě věci: co se bezpečnosti týče, neexistuje žádná „stříbrná kulka“ a bránit se útoku uživatele sedícího u konzole počítače s administrátorskými právy je extrémně obtížné. Obě ukázky týkající se podepisování ovladačů a virtualizace začaly s předpokladem, že osoba, která se pokouší spustit kód, již má na tomto počítači oprávnění správce [43] .
Ne všichni analytici však s touto odpovědí souhlasili. Například Chris Kaspersky , který analyzoval informace poskytnuté Yoannou, namítl:
Jako, s právy správce (a "Modrá pilulka" je vyžaduje) to ani není možné! A co je s nimi vlastně možné?! Není možné načíst nepodepsaný ovladač nebo se jiným legálním způsobem dostat na úroveň jádra, což způsobuje spoustu problémů jak administrátorům, tak vývojářům. Ve jménu bezpečnosti Jejího Veličenstva by se to dalo snést, kdyby Microsoft zacpal všechny mezery, ale ukázalo se, že jsme nuceni vzdát se části svobod a vymožeností a nabízet na oplátku... nic! Kde je logika?! Logika je jako vždy na straně Microsoftu, kterému se podařilo jediné – prosadit své glukodromy na trh [44] .
Joanna si uvědomila úspěch projektu Blue Pill a krátce nato vytvořila malou skupinu výzkumníků uvnitř COSEINC s názvem „Advanced Malware Labs“, jejímž hlavním cílem bylo dále pracovat v oblasti malwaru založeného na virtualizaci. Po několika měsících práce však společnost změnila priority a práce na Modré pilulce byly uzavřeny [45] .
21. září 2006 Joanna opět přednáší „ Podvracení jádra výhledu pro zábavu a zisk “ na konferenci Hack In The Box 2006 [46] , která se konala v Kuala Lumpur , Malajsie . Verze Blue Pill prezentovaná na konferenci zůstala stejná, ale jako napadený OS byla nyní použita nová verze Windows Vista RC1 [47] (zatímco dříve byl používán Windows Vista Beta 2 [48] ).
V dubnu 2007 se Joanna rozhodla opustit COSEINC a vytvořit vlastní společnost „Invisible Things Lab“ („ Ruská laboratoř neviditelných věcí “), která se specializuje na poradenské služby a výzkum v oblasti informační bezpečnosti. Samotný vznik její vlastní společnosti se obešel bez velkého povyku a její debut byl připraven na červencový Black Hat USA. Název společnosti byl hra s názvem jejího blogu „Invisible Things“, který se v té době stal velmi populárním. 1. května 2007 je jako hlavní vývojář najat Rus Alexander Tereshkin (také známý jako 90210), rovněž bývalý člen COSEINC AML [45] [49] . Společnost je právně registrována ve Varšavě v Polsku . Nemá fyzickou kancelář. Joanna sama říká o své společnosti toto:
Jsme hrdí na to, že jsme moderní společností. Nemáme vůbec fyzickou kancelář. Všichni pracují z domova a vyměňujeme si informace prostřednictvím šifrované pošty. Nemáme zaměstnance, který by seděl v kanceláři od devíti do pěti. Práce, kterou děláme, vyžaduje kreativitu a bylo by pošetilé nutit lidi, aby se drželi pevného rozvrhu [3] .
Společnost se specializuje na bezpečnost operačních systémů a virtuálních strojů a poskytuje různé konzultační služby. V roce 2008 do společnosti vstoupil Rafal Voychuk , který předtím spolupracoval s Joannou a Alexandrem [50] . Alexander Tereshkin je hlavním řešitelem společnosti ITL. Podle Yoanny se s Alexandrem zabývají výzkumem hrozeb a konzultačními projekty, ale Alexander se trochu více věnuje programátorské práci a samotná Rutkovskaya se zaměřuje přímo na obchodní úkoly [51] .
10. května 2007 byla zahájena konference NLUUG , která se konala v Ede , Nizozemsko [52] [53] . Její zpráva nazvaná „ Virtualizace – druhá strana mince “ byla opět věnována projektu Modrá pilulka [54] . Během prezentace byly zvažovány výhody a nevýhody nedávno představené virtualizační technologie. Významná část zprávy opakovala materiál zprávy „Subverting Vista Kernel“, kterou Yoanna prezentovala loni na konferenci Black Hat, ale omezila se pouze na téma virtualizace (bez diskuse o útoku na jádro Windows Vista), a také zvážil několik dalších problémů z „filosofického“ hlediska [12] .
13. května 2007 měla Joanna vystoupit na konferenci CONFidence 2007 , která se konala 12. až 13. května v Krakově [55] . Její reportáž, která dostala podmínečný název „A la carte“ („ Ruština na výběr “), se ve skutečnosti skládala z několika předem připravených témat (těch reportáží, které v té době Joanna mluvila), a diváci si museli vybrat konkrétní téma z těch navržených hlasováním. Pro Joanninu nemoc se však představení nekonalo [56] . (Mimochodem, právě z tohoto důvodu je zpráva Joanny uvedena na webu CONFidence, ale není k dispozici ke stažení [57] .)
16. května 2007 zahajuje Info-Security Conference 2007 (odkaz nepřístupný) v Hong Kongu [52] [58] . Ve zprávě nazvané „Lidský faktor vs. Technologie“ („ Rus. Lidský faktor proti technologii “) se Joanna zabývala moderními problémy při zajišťování bezpečnosti operačních systémů z hlediska uživatelského i technického a také nastínila své úvahy o řešení těchto problémů v budoucnost [59] .
31. května 2007 Joanna vystupuje na výstavě a kongresu Security@Interop Moskva 2007 v Moskvě s hlavním projevem „Neviditelné viry – dobří kluci vítězí“ [52] [60] .
Dne 28. července 2007 provedla Joanna společně s Alexandrem Tereshkinem v rámci Black Hat USA Training 2007: Weekend Session školení Understanding Stealth Malware v Black Hat , které se konalo od 28. července do 2. srpna v Las Vegas v USA [ 52] [61] . Účastníkům kurzu byla nabídnuta možnost naučit se na hlubší úrovni základy skrytého malwaru, jeho interakce s operačním systémem, hardwarem a sítí. V rámci kurzu se studenti mohli seznámit a experimentovat s několika dosud nepublikovanými koncepty rootkitů vytvořenými speciálně pro tento kurz a podobně jako Deepdoor, FireWalk, Blue Pill a další. Krátce byla zvažována i otázka jejich detekce [62] .
A o několik dní později, 2. srpna, tam Joanna a Alexander představili technickou zprávu „ IsGameOver(), někdo? "(" Rus. GameOver() nebo někdo jiný? ") [52] [63] . Zpráva byla založena na nové praktické metodě útoku „za běhu“ na jádře Vista x64 a také na prozkoumání nedostatků technologie TPM/Bitlocker z pohledu takových útoků. Významná část zprávy byla věnována představení nových podrobností o malwaru využívajícím virtualizaci. To zahrnovalo různé metody detekce, které bylo možné použít buď k detekci použití virtualizace, nebo k nalezení samotného malwaru. Byly zváženy metody pro obcházení ochran malwarem a možnosti implementace vnořené virtualizace [64] .
17. září 2007 Joanna vystupuje na Gertner IT Security Summit v Londýně , Spojené království [52] .
Dne 23. října 2007 vystoupila na Nordic Virtualization Forum, které se konalo ve Stockholmu ve Švédsku [52] .
V polovině listopadu 2007 přednesla Joanna přednášku „Informační technologie a lidský faktor“ na ruském kongresu CIO konaném v Rostově na Donu v Rusku . Její zpráva byla věnována novému přístupu, který umožňuje převzít kontrolu nad procesory s hardwarovou podporou virtualizace [65] .
V roce 2007 prokazuje nespolehlivost a schopnost obejít některé typy hardwarových pamětí (například založené na FireWire) [66] .
V roce 2008 se Rutkowska a její tým zaměřili na bezpečnostní výzkum hypervizoru Xen [67] .
25. března 2008 spolu s Tereshkinem vede školení o skrytém softwaru v Black Hat v Amsterdamu [52] .
8. dubna 2008 vystoupila s prezentací na významné konferenci RSA v San Franciscu v USA [52] [68] .
24. dubna 2008 vystupuje na konferenci RISK v norském Oslu [ 52] .
Dne 16. května 2008 jako jeden ze speciálně pozvaných odborníků zahajuje svou prezentací " Bezpečnostní výzvy ve virtualizovaných prostředích (nepřístupný odkaz) " (" Rus. Bezpečnostní problémy ve virtuálním prostředí ") konferenci CONFidence 2008 , která se místo od 16. do 17. května v Krakově [69] . Prezentace byla věnována různým potenciálním bezpečnostním problémům ve virtuálním prostředí: rootkity založené na virtualizaci (například Blue Pill ), izolovaní herci virtuálních strojů, problémy „důvěry“ virtuálních strojů, vnořená virtualita a její dopad na bezpečnost virtuálních systémů [ 70] .
4. srpna 2008 spolu s Tereshkinem vede školení o skrytém softwaru v Black Hat v Las Vegas [52] . V jednom ze svých rozhovorů v zákulisí konference na otázku, jak její výzkum ovlivňuje průmyslové využití hypervizorů, Joanna odpověděla, že „jedním z přínosů její práce je, že si lidé více uvědomují hypervizory, ale hlavním cílem je stále sdělovat informace poskytovatelům řešení, kteří by si měli být vědomi nebezpečí aplikace, jak se před nimi chránit a korigovat je“ [71] .
7. srpna 2008 na konferenci Black Hat Joanna, Rafal a Alexander demonstrovali, že chyba nalezená v BIOSu základní desky DQ35JO umožňuje mimo jiné obejít ochranu paměti hypervizoru Xen . O několik týdnů později Intel vydal aktualizaci BIOSu, která tuto chybu opravila, načež Rutkowska zveřejnila všechny podrobnosti o mechanismu útoku [72] a kód, který jej demonstruje [73] . Útok byl založen na využití schopnosti čipové sady remapping nebo AKA paměti reclaiming a umožňuje obejít určité mechanismy ochrany paměti implementované v procesoru nebo čipové sadě. Navíc podobným způsobem můžete obejít ochranu paměti SMM , když k ní získáte plný přístup. Později byla tato zranitelnost podrobněji prozkoumána při studiu zranitelností SMM, což jim umožnilo studovat binární kód SMM, což jim umožnilo najít v něm více zranitelností [74] .
Dne 10. prosince 2008 oznámili objevení nových zranitelností v Intel Product Security Response Center souvisejících s SMM. Všechny tyto nalezené zranitelnosti SMM jsou výsledkem jediného návrhu implementace určitých funkcí nezabezpečeným způsobem. Výsledkem je, že v enginu SMM je více než 40 potenciálních zranitelností (experimenty byly provedeny na základní desce DQ35JOE se všemi opravami dostupnými k prosinci 2008). Z nalezených zranitelností byly celkem úspěšně otestovány pouze dvě, protože Joanna a ... neviděly žádný praktický smysl v použití zbytku. Podle jejich názoru by správným řešením tohoto problému bylo úplné přepracování stávajících ovladačů SMM. V osobní korespondenci zástupci Intelu potvrdili problém v „mobilních, desktopových a serverových základních deskách“, aniž by uvedli jakékoli podrobnosti a zranitelné modely. Yoanna a ... navrhli, že všechny nedávno vydané základní desky Intel jsou napadeny.
Intel slíbil opravit firmware do léta 2009 a zároveň požádal, aby nezveřejňoval podrobnosti o zranitelnostech v SMM, dokud nebudou připraveny všechny příslušné záplaty. Na konferenci Black Hat USA 2009 plánované na konec července 2009 proto musel být předložen podrobný popis zranitelnosti. Zástupci Intelu uvedli, že na tento problém upozornili CERT , protože se domnívají, že podobné chyby mohou obsahovat BIOS jiných výrobců. CC CERT přidělil této chybě sériové číslo VU#127284 [74] .
2. září 2008 Joanna vystupuje na fóru IT bezpečnosti v Oslu [52] .
Dne 18. února 2009 představila Joanna společně se svým kolegou Rafalem Voychukem zprávu Attacking Intel Trusted Execution Technology ( nepřístupný odkaz ) na konferenci Black Hat DC 2009 , která se konala od 16. do 19. února 2009 v Crystal City (Arlington, Virginie ) ( en ) [75] [76] . Zpráva je věnována způsobu obcházení ochranných technologií Intel Trusted Execution Technology (součást značky Intel vPro ) a Intel System Management Mode objevených na konci roku 2008 .
Na začátku zprávy jsme hovořili o zranitelnostech, které umožňují obejít technologii Dynamic Root of Trust Measurement (DRTM), která obecně ohrožuje významnou část moderních systémů. Poté se diskuse stočila k problémům ve Static Root of Trust Measurement (zkráceně SRTM), přesněji k nutnosti kontrolovat každý kousek kódu, který se spustí po spuštění systému [77] .
Jak víte, Intel Trusted Execution Technology (zkr. TXT), což je implementace „late start“ (neboli odloženého startu ), nekontroluje stav systému před spuštěním, a umožňuje tak bezpečné spuštění systému i při infikovaný počítač. Joanna a Rafal ale zjistili, že TXT neposkytuje ochranu za běhu, tedy banální ochranu proti přetečení vyrovnávací paměti v kódu hypervizoru . TXT je určen pouze pro ochranu při spuštění, to znamená, že tento mechanismus zajišťuje, že kód, který se načítá v okamžiku načítání, je skutečně ten, který by měl být spuštěn. Existuje však část systémového softwaru, kterému je třeba důvěřovat. Takový fragment se nazývá a nazývá se System Management Mode (zkr. SMM).
SMM, který je nejprivilegovanějším typem softwaru, který běží na procesoru, může obejít bezpečnostní kontroly prováděné během pozdního spuštění na čerstvě spuštěném virtuálním počítači (ale tvrzení, že SMM není vůbec kontrolováno, je nepravdivé). Útok na funkci pozdního spuštění TXT tedy může proběhnout ve dvou fázích:
Yoanna a Rafal představili kód, který demonstruje podobný útok na hypervizor Xen načtený pomocí modulu tboot . Tboot poskytuje Linux a Xen bezpečné spouštění s funkcí Intel TXT pozdního startu. Teoreticky by měl tboot zajistit, že po nabootování správného (tedy neupraveného) hypervizoru Xen (a pouze v tomto případě!) budou do registrů TPM nahrána správná data. V praxi to však znamená, že pouze určitá (důvěryhodná) verze hypervizoru Xen bude mít přístup k chráněným oblastem TPM a/nebo se bude moci pozitivně identifikovat pro interakci (například s notebookem správce systému) pomocí speciální funkce TPM "Vzdálená atestace" ( " Ruština. Vzdálená kontrola "). Joanna a Rafal tedy ukázali, že s pomocí infikovaného SMM handleru je možné upravit nově načtený virtuální stroj, to znamená, že útok zcela obejde všechny ochranné mechanismy, které TXT poskytuje k ochraně stahování.
Jako ochranu proti takovým útokům vyvinul Intel mechanismus nazvaný SMM Transfer Monitor (zkr. STM), což je jakési prostředí (nebo „sandbox“), do kterého je prostřednictvím virtualizace pomocí VT-x a VT- umístěn stávající ovladač SMM. d. V tomto případě by měl být STM vnímán jako interagující hypervizor ( anglicky peer hypervisor ) pro virtuální stroj načtený pozdním startem a během pozdního startu by měl být STM analyzován. V době demonstrace ale tato technologie stále nebyla dostupná, protože podle zástupců Intelu (v soukromé korespondenci) „nedávala komerční smysl“ [74] .
Dne 15. května 2009 vystoupil se zprávou „ Thoughts about Trusted Computing (nepřístupný odkaz) “ („ Ruské myšlenky o důvěryhodném zpracování informací “) na konferenci CONFidence 2009 , která se konala od 15. do 16. května 2009 v Krakově [78 ] . Zpráva se plně věnuje technologii Trusted Computing: co to je, hlavní bloky, které tvoří technologii (TPM, VT a TXT) a jsou dostupné v moderním vybavení, diskuzi o scénářích použití takového zařízení a diskuzi o rozdíly mezi teoretickou funkčností a praktickými omezeními jejího použití [79] .
Dne 26. května 2009 měla Joanna prezentaci na EuSecWest v Londýně [52] .
Dne 25. července 2009 pořádají Joanna a Alexander školení o skrytém softwaru v Black Hat v Las Vegas [52] .
27. července 2009 pořádají Joanna a Rafal školení zabezpečení virtualizace v Black Hat v Las Vegas [52] .
Dne 15. září 2009 vystoupila s prezentací na Intel Security Summit v Hillsborough, Oregon, USA [52] .
Dne 29. října 2009 vystoupila s prezentací na Computerbild Anti-Virus-Symposium v Hamburku [52] .
24. listopadu 2009 má Joanna hlavní projev na semináři o bezpečnosti na Universität der Bundeswehr v Mnichově [52] .
16. dubna 2010 vystoupil na CampusParty EU v Madridu [52] .
V listopadu 2004 zveřejnila Joanna kód programu Red Pill a popis zranitelnosti, kterou využíval. Název programu (stejně jako název projektu Modrá pilulka) byl převzat z filmu " The Matrix ", kde jsou v jedné ze scén hlavní postavě nabídnuty dvě pilulky na výběr: modrá - k pobytu v systém (v Matrixu), červená - dostat se z toho. Rutkowska přirovnává spolknutí červené pilulky k podprogramu vracejícímu nenulovou hodnotu (tedy chybové hlášení), což ve filmu umožnilo hrdinovi uvědomit si, že se nachází ve virtuálním světě. Hlavním úkolem programu bylo demonstrovat schopnost určit využití virtuálního stroje pomocí instrukce SIDT procesoru, která se provádí v neprivilegovaném režimu, ale vrací obsah registru používaného uvnitř OS.
Hlavní technikou, která to umožnila, byla analýza umístění registru tabulky popisu přerušení ( anglicky interrupt deskriptor table register , zkr. IDTR). Instrukce SIDT umístí obsah IDTR do zadaného operandu, tedy uloží do paměti, a mluvíme o přemístění tabulky IDT na konkrétní adresu.
Yoanna si poprvé všimla tohoto podivného chování instrukce SIDT před několika lety, když testovala rootkit Suckit na VMWare. Tento rootkit fungoval docela správně na skutečném OS, ale při spuštění na virtuálním stroji hlásil chybu. Joanna strávila několik hodin zjišťováním, že problémem je SIDT, který Suckit používal k získání adresy tabulky IDT.
Sama Joanna přitom nepopírá, že podobné studie proběhly i před ní. Tak například odkazuje na dokument publikovaný v roce 2000 v USENIX , který se věnuje problému implementace virtuálních strojů na procesorech Intel. Mezi diskutovanými problémy byl problém se SIDT.
Nápad na projekt představila Joanna v říjnu na IT Underground 2004 ve Varšavě v Polsku . Po konferenci, 18. října, zveřejnil Dave Eitel svou zprávu o cestě na tuto konferenci, která vzbudila značný zájem. Výsledkem bylo, že Joanna začala dostávat spoustu e-mailů od lidí, kteří chtěli vědět, „jak zjistit použití VMWare pomocí jediné instrukce“ [12] [14] .
Konečně, 14. listopadu 2004, Joanna vydala Red Pill jako zdrojový kód pro malý C program [14] . Tento kód bylo potřeba zkompilovat na Windows běžícím na procesoru Intel [80] .
Bohužel však tento program měl nedostatky, přičemž hlavní nevýhodou programu byla jeho neschopnost detekovat virtualizaci hardwaru:
Existuje rozdíl mezi definováním virtualizace a definováním konkrétního hypervizoru, jako je BluePill, o kterém jsme hovořili dříve. Je třeba připomenout, že RedPill byl zaměřen na definování softwarové virtualizace, kterou produkty VMWare používaly ještě předtím, než Intel a AMD představily VT-x/AMD-v (před rokem 2006). Můj původní detektor RedPill, který byl publikován v roce 2004, není schopen detekovat hardwarovou virtualizaci [3] .
V prosinci 2004 přednesla Joanna přednášku na 21. Chaos Communication Congress v Berlíně o skrytých kanálech v linuxovém jádře verze 2.4. Pro tuto prezentaci připravila koncepční program, který může demonstrovat možná nebezpečí ze skrytých kanálů v podnikových sítích a poskytnout tak výzkumníkům data k analýze prostřednictvím těchto kanálů.
Podle doprovodné poznámky, kterou napsala sama Joanna, nebyl program rozsáhle testován a je pouze ukázkou konceptu samotného nápadu [81] .
2. ledna 2005 Joanna oznámila na svých webových stránkách objev materiálů a kódu NUSHU [14] .
Program vzbudil zájem hackerské komunity, v důsledku čehož bylo navrženo několik metod pro detekci tohoto programu. Například Stephen Murdoch a Stephen Lewis z Cambridge Computer Laboratory ( www.cl.cam.ac.uk ) publikovali v dubnu 2005 článek o skrytých kanálech v TCP/IP. V tomto dokumentu je zejména uveden popis metody pro detekci skrytých kanálů na principu NUSHU a navržena nová implementace myšlenky skrytých kanálů nazvaná „Lathra“ [14] [82] .
V polovině listopadu 2005 Evgeny Tumoyan a Maxim Anikeev z Taganrog State University publikovali dokument „ Network Based Detection of Passive Covert Channels in TCP/IP “ popisující novou metodu detekce skrytých kanálů [83] . O měsíc později byl tento dokument zaslán k bezplatné recenzi [14] .
Ve svém projevu na 22. kongresu Chaos Communication na konci prosince 2005 se Stephen Murdoch během své prezentace konkrétně zaměřil na technické detaily programu NUSHU . Sama Joanna považovala tuto prezentaci za „velmi cool“ [14] .
FLISTER je koncepční kód pro demonstraci schopnosti detekovat soubory skryté rootkity Windows v uživatelském i kernelovém režimu najednou. Program je založen na využívání chyb (obvykle vytvořených autory rootkitů) při zpracování volání funkce ZwQueryDirectoryFile()metodou ReturnSingleEntrynastavenou na TRUE [84] .
Program byl napsán na začátku roku 2005 [85] . 24. ledna 2005 zveřejnila Joanna zdrojový kód programu [14] .
Testy provedené na začátku roku 2007 ukázaly, že tento program je nejen nestabilní, ale že „detekce rootkitů pomocí tohoto programu je prakticky nemožná“ [86] .
modGREPER je skrytý detektor modulů pro Windows 2000/XP/2003. Program prohledá veškerou paměť používanou jádrem (adresy 0x80000000 — 0xffffffff) a hledá struktury, které vypadají jako platné objekty popisu modulu [84] . Program zatím rozeznává pouze dva nejdůležitější typy objektů: poměrně známý _DRIVER_OBJECTa _MODULE_DESCRIPTION. modGREPER má jakousi vestavěnou umělou inteligenci (přesněji několik sad logických pravidel popisujících možná pole struktury), která mu umožňuje určit, zda dané bajty skutečně popisují objekt modulu.
Poté modGREPER sestaví seznam nalezených objektů, porovná je mezi sebou a nakonec výsledný seznam porovná se seznamem modulů jádra získaným pomocí zdokumentovaných funkcí API (EnumDeviceDrivers).
Předpokládalo se, že modGREPER byl schopen detekovat všechny druhy modulů, které se používaly v době vydání programu. Kromě toho mohou být některé moduly označeny jako "POZORNĚNÉ" (" rus. Podezřelé "). To platí pro neskryté moduly, jejichž odpovídající obrazové soubory buď chybí, nebo jsou umístěny ve skrytých adresářích (skrytých rootkitem, nikoli systémem). Toto chování bylo přidáno, protože většina rootkitů se ani nesnaží skrýt své moduly jádra před API.
Program také dokáže detekovat a vypsat nenačtené moduly jádra. To někdy umožňuje pokročilejší (bez ovladače) jádrové rootkity. Tento seznam má však určitá omezení: má omezený rozsah a obsahuje pouze hlavní (základní) název modulu (bez určení cesty).
Sama Joanna však připustila, že je docela možné psát rootkity, které nejsou přístupné takovému ověření. Navíc jako hlavní cíl vydání takového programu sama označila touhu stimulovat hackery k psaní sofistikovanějších rootkitů [87] .
První verze programu (0.1) byla vydána 6. června 2005 , druhá a nejnovější verze (0.2) - 14. června 2005 [88] .
Testy provedené na začátku roku 2007 ukázaly, že tento program je nejen nestabilní, ale že „detekce rootkitů pomocí tohoto programu je prakticky nemožná“ [86] .
Program je malá konzolová utilita spouštěná z příkazového řádku. Myšlenkou SVV je kontrola základních součástí systému Windows, které se různé malware snaží upravit. Kontrola umožňuje zaručit integritu systému a identifikovat potenciální infekci systému [84] .
Na konci září 2005 na konferenci Hack In The Box v Kuala Lumpur v Malajsii představila první verzi programu (1.0) [89] . 3. října 2005 zveřejňuje Joanna první verzi programu na svých webových stránkách [14] . 1. listopadu 2005 byla zveřejněna první stabilní verze (1.1) programu [90] .
Testy provedené koncem roku 2005 ukázaly, že program implementoval pouze „omezenou sadu testů“, přičemž detekoval pouze ty rootkity, které „buď skryjí pouze část svých dat, nebo se před restartováním systému vymažou“ [91] .
25. ledna 2006, na konferenci Black Hat, Federal vydala verzi 2.2 [92] .
Poslední verze (2.3) byla zveřejněna 27. února 2006 [90] .
12. května 2006 Joanna na svém blogu oznámila, že zdrojový kód SVV je open source, protože podle ní nemá čas jej dále rozvíjet, ale přístup použitý v programu nadále považuje za správný a slibný . Na základě licence, pod kterou kód otevřel, umožňuje uživatelům dělat se zdrojovým kódem, co chtějí, až po jeho použití pro komerční účely [93] .
Testy provedené na začátku roku 2007 ukázaly, že tento program je nejen nestabilní, ale že „detekce rootkitů pomocí tohoto programu je prakticky nemožná“ [86] .
Joanna o takovém projektu přemýšlela zhruba od března 2006, kdy jí přišla dokumentace AMD k nové virtualizační technologii AMD-V (dříve Pacifica). První procesory podporující tuto technologii se dostaly na trh koncem května a již v prvním červnovém týdnu se Joanně podařilo jeden z těchto procesorů získat v Polsku. Od té chvíle jí trvalo přesně šest dní, než napsala první pracovní verzi Modré pilulky [33] . Program byl představen na konferenci Black Hat Briefings konané v Las Vegas 3. srpna 2006 [45] .
Když Microsoft minulý rok oznámil, že jádro bude chráněno před načtením [neoprávněného] kódu, pomyslel jsem si: "Mmmm, to je zajímavá hádanka. Měl bych si s tím pohrát [5] .
Někteří odborníci na rootkity (jako Greg Hoagland , který napsal jeden z prvních rootkitů pro Windows) tvrdili, že rootkity založené na virtuálních strojích jsou pouze laboratorní hračky a nepředstavují žádnou skutečnou hrozbu. Yoanna odpověděla, že toto tvrzení může být pravdivé pro programy jako SubVirt, vyvinutý Microsoft Research a University of Michigan , ale ne pro Blue Pill nebo Vitriol, protože jsou založeny na hardwarové virtualizaci, nikoli na softwaru [94] .
Krátce po uzavření COSEINC AML založila Joanna Invisible Things Lab, po kterém se práce na Blue Pill obnovily. Joanna a Alexander Tereshkinovi se rozhodnou napsat nový rootkit Modré pilulky (pojmenovaný New Blue Pill, aby se nová Modrá pilulka odlišila od originálu), aby mohl být použit pro další výzkumné i vzdělávací účely. Většinu kódu pro novou Modrou pilulku napsal Tereshkin. Nová Modrá pilulka se od originálu výrazně lišila nejen implementací nových funkcí, ale také změnami v architektuře (nyní se stala podobnou HVM používanému v XEN 3).
Rong Fan přepracoval novou modrou pilulku tak, aby fungovala s procesory Intel, a přidala podporu pro virtualizaci hardwaru Intel VT-x. Ron také přidal podporu pro vnořenou virtualizaci založenou na VT-x pro následující NBP, ale tento kód nemůže být zveřejněn kvůli omezené dohodě o zveřejnění, ale podobná podpora pro virtualizaci hardwaru AMD je open source.
Od podzimu 2007 podporuje práce na nové modré pilulce americká společnost Phoenix Technologies [45] .
7. dubna 2010 Joanna oznámila vývoj nového vysoce bezpečného operačního systému Qubes (z anglického cubes - kostky, kostky). Práce na OS začaly v prosinci 2009, návrh systému trval asi dva měsíce, poté začala fáze kódování [95] . Architekturu Qubes navrhli Yoanna a Rafal, virtualizační kód GUI napsal Rafal a zbytek systému většinou napsal Yoanna [96] .
Pokud jde o název OS, sama Joanna říká [95] následující :
Oh, myslím, že je to docela zřejmé. Qubes je tak zvláštní způsob psaní slova Cubes a každá taková „kostka“ by měla symbolizovat virtuální stroj. Když přemýšlíme o využití virtuálního stroje k ochraně, představíme si jakousi klec nebo kostku, tedy něco, co může obsahovat a omezovat to, co má uvnitř (například škodlivý program).
Původní text (anglicky)[ zobrazitskrýt] Oh, myslel jsem, že to bylo docela zřejmé. Qubes je jen fantastický způsob psaní kostek a každá "kostka" má symbolizovat virtuální stroj (VM). Když uvažujeme o virtuálním stroji v oblasti bezpečnosti, myslíme na nějaký druh klece nebo krychle, něco, co je schopno pojmout a uvěznit cokoli uvnitř (např. škodlivý program).Ve skutečnosti je vývoj nyní jakýmsi doplňkem operačního systému Fedora 12 . V tuto chvíli Qubes nemá vlastní instalátor, takže vývojáři připravili všechny potřebné RPM balíčky a otestovali je na tomto systému. Vývojáři předpokládají, že Qubes bude fungovat na jiných linuxových systémech, které podporují balíčky RPM, ale tato funkce nebyla jimi testována. Po napsání vlastního instalačního programu chtějí vývojáři proměnit Qubes v samostatný systém, který nevyžaduje instalaci dalších operačních systémů [97] .
Vydání 1 Alpha 2 bylo naplánováno na 11. června 2010, s první beta verzí 1. září 2010 a první stabilní 31. prosince 2010 [98] .
Verze 1.0 byla vydána 3. září 2012 [99] [100] .
Osobně preferuje produkty Apple [5] .
Toto je nejhezčí stolní počítač, jaký jsem kdy vlastnil – jak vzhledem, tak GUI [3] .
Joanna také používá několik jiných počítačů než Apple (notebooky i stolní počítače) [3] .
Joanniným koníčkem je „programování autonomního šestiprstého robota s mozkem založeným na dvou 8bitových mikrokontrolérech“ [3] .
V roce 2007 na otázku novináře, co Joanna považuje za svůj největší úspěch, odpověděla: „Šťastný život s mým partnerem“ [4] .
Hlavním důvodem výběru je, že se mi líbilo jeho GUI , je rychlé a podporuje všechny ty skripty , Flash a bůhví co ještě - vše, co dnes potřebujete k procházení typických zpravodajských webů [3] .
Pro mě osobně je velmi důležité si po večeři zdřímnout. Nemohu pracovat dlouhé hodiny, pokud nemám dostatek spánku. Abych byl upřímný, nikdy jsem v kanceláři nevydržel ani den [3] .
![]() | |
---|---|
V bibliografických katalozích |