Nutch

Apache Nutch je modulární framework pro vytváření vyhledávačů napsaný v Javě a založený na technologiích Lucene , Solr , Tika , Hadoop a Gora přizpůsobený pro specifika internetového vyhledávání (podporovány jsou například crawler , link base, HTML parsing a další formáty) . Architektura Nutch umožňuje vývojářům vytvářet pluginy pro zpracování nového mediálního obsahu, přijímání dat prostřednictvím nestandardních kanálů pro vytváření standardních dotazů nebo organizování vyhledávacího clusteru.

Systém poskytuje nástroje pro vytváření rozsáhlých indexovacích systémů abstrahovaných od typu úložiště, což umožňuje použití takových úložišť pro velké množství dat, jako jsou Apache Accumulo , Apache Avro , Apache Cassandra , Apache HBase a HDFS , stejně jako SQL databáze a umístění . NoSQL databází v paměti .

Použití

Na základě Nutch 2.0, běžícího na 34uzlovém clusteru Hadoop, byla vytvořena vyhledávací služba Kalooga , jejíž index obsahuje více než miliardu stránek [2] .

Vyhledávače založené na Nutch:

• Creative Commons Search – spuštěno v roce 2004, implementace Nutch nahrazena v roce 2006 [3] [4] [5]
• DiscoverEd je otevřený prototyp vyhledávání vzdělávacích zdrojů vyvinutý organizací Creative Commons.
• Krugle
• MozDex
• Wikia Search – spuštěna v roce 2008, uzavřena v roce 2009 [6] [7]
• search2.net

Poznámky

1. ↑ https://nutch.apache.org/index.html#11-october-2019-nutch-24-release
2. ↑ Vydán vyhledávač Apache Nutch 2.0 . Získáno 9. ledna 2017. Archivováno z originálu 14. července 2012. (neurčitý)
3. ↑ Naše aktualizované vyhledávání . Creative Commons (3. září 2004). Získáno 9. ledna 2017. Archivováno z originálu 7. září 2011. (neurčitý)
4. ↑ Unikátní vyhledávací nástroj Creative Commons je nyní integrován do Firefoxu 1.0 (odkaz dolů) . Creative Commons (22. listopadu 2004). Archivováno z originálu 22. července 2013. (neurčitý) 
5. ↑ Nové uživatelské rozhraní pro vyhledávání CC . Creative Commons (2. srpna 2006). Získáno 9. ledna 2017. Archivováno z originálu 7. listopadu 2011. (neurčitý)
6. ↑ Kde mohu získat zdrojový kód pro vyhledávání na Wikia? (nedostupný odkaz) . Získáno 9. ledna 2017. Archivováno z originálu dne 4. listopadu 2011. (neurčitý) 
7. ↑ Aktualizace na Wikia – dělejte více z toho, co funguje . Získáno 9. ledna 2017. Archivováno z originálu 3. května 2009. (neurčitý)

Odkazy

• nutch.apache.org - oficiální stránky Nutch
• Oficiální wiki
• Building Nutch: Open Source Search（2004）- ACM Queue sv. 2, č. 2
• Článek o Nutch（2003）-Search Engine Watch
• Další článek o Nutch（2003）- Tech News World
• Oficiální stránka projektu Hadoop