Jak vizualizovat složitá data v systému Linux

Pravděpodobně jste už slyšeli o Elasticsearch - vyhledávači, který vám umožňuje indexovat a poté rychle prohledávat vaše data. Možná jste vytvořili několik vizualizací v Kibaně, GUI pro Elasticsearch, ukazujících a klikajících na cestu přes elegantní rozhraní.

Možná jste nepoužili méně známý vizualizační plugin s názvem Timelion.

Timelion je fantastický nástroj pro vytváření vizualizací, který umožňuje psát vaše dotazy v jednoduchém a výkonném expresním jazyce pro zobrazení grafů. Používá se k zobrazování údajů časových řad, jako je růst populace nebo požadavky na váš web.

  • Zde je seznam nejlepších notebooků pro vývojáře
  • Podívejte se na tyto nejlepší distribuce pro vývojáře
  • S těmito nejlepšími pracovními stanicemi snadno lámejte čísla
O tomto článku

Tento článek se poprvé objevil v časopise Linux Format Magazine, číslo 269, publikovaném v listopadu 2022-2023.

S Timelionem můžeme vypočítat klouzavé průměry, zobrazit rozdíl mezi daty za minulý týden a dnes a provést základní detekci anomálií. Je to užitečný nástroj, který umí pracovat. Začněme.

Instalace

Pokud jste běžnou čtečkou formátu Linux, existují příklady ukotvení pro sestavení clusteru v LXF261.

Jinak je instalace Elasticsearch a Kibana relativně jednoduchá. Jediným požadavkem je Java, kterou již máte nainstalovanou.

Pokud tomu tak není, jednoduchá instalace sudo apt install default-jre ji nainstaluje na distribuce založené na Debianu nebo instalace sudo dnf install java by měla dělat totéž pro rodinu distribucí Red Hat.

Pak si stačí stáhnout nejnovější verzi Elasticsearch a Kibana pro požadovanou chuť operačního systému.

V době psaní je nejnovější verze kibana-7.8.1-linux-x86_64.tar.gz.

Můžete jej extrahovat pomocí tar -xvzf kibana-7.8.1-linux-x86_64.tar.gz, přejít do extrahovaného adresáře a spustit ./bin/kibana & pro spuštění instance Kibana.

Pokud jste nastavili Elasticsearch přesně stejnými kroky a nahradili jste výraz „kibana“ výrazem „elasticsearch“, měli byste být schopni přejít ve svém oblíbeném prohlížeči na adresu http: // localhost: 5601 a zobrazit nové lesklé rozhraní Kibana pro přehrávání kolem s.

Pokud dáváte přednost instalaci balíčků pomocí správce balíčků, stejný odkaz jako dříve obsahuje informace o přidání úložiště Elastic do vašeho systému a instalaci balíčků Kibana a Elasticsearch tímto způsobem.

Můžete překrývat grafy na sebe a pomocí formátování, aby vaše grafy vypadaly co nejlépe.

Získejte nějaké údaje

Nedávné verze Kibany umožňují automaticky přijímat datové sady do našeho klastru pomocí Data Visualizeru namísto nutnosti vytvářet skript nebo konfiguraci Logstash. Může pracovat s datovými sadami ve formátu JSON nebo CSV a také s některými standardními soubory protokolu, jako jsou protokoly Apache. Jediným omezením je, že mají velikost menší než 100 MB. To je pro naše účely více než dost.

Budeme používat celosvětový datový soubor případů Covid-19 z portálu EU pro otevřená data. Soubor CSV jsme stáhli z části Zdroje na stránce.

Pokud máte problémy, můžete si místo toho stáhnout verzi Excel .xlsx, otevřít pomocí LibreOffice Calc a uložit ji ve formátu Text CSV (.csv). Ke stažení je k dispozici také verze JSON, kterou můžete použít jako alternativu.

Chcete-li se dostat do Data Visualizeru v Kibaně, klikněte na ikonu hamburgeru vlevo nahoře, potom Machine Learning a nakonec Data Visualizer. Jakmile tam v poli Importovat data kliknete na Nahrát soubor, vyberte nebo přetáhněte soubor a vyberte soubor CSV, který chcete přijmout.

Po krátké analýze se zobrazí některé statistiky, které byly objeveny z prvních 1 000 řádků souboru CSV. Bude to formát, o kterém si myslí, že je v každém z polí, například text, datum nebo číslo, a zvýraznění nejvyšších hodnot nalezených v polích.

Obvykle to dělá dobrou práci, když to zjistíme za nás. Pokud jste potřebovali provést nějaké úpravy, můžete kliknout na Přepsat nastavení a upravit je - například název pole, jak bude nastaven v Elasticsearch.

Jeden název pole, který bychom měli přepsat, je datum, což představuje datum pro vypočítaný údaj v naší datové sadě. Timelion ve výchozím nastavení neví, jak toto pole použít jako časové pole, takže si můžeme život později zjednodušit přejmenováním tohoto pole na něco, co rozpozná.

Dobrý kandidát je časové razítko. Nastavte to kliknutím na Použít. Pokud jste spokojeni s tím, jak to vypadá, klikněte dole na Importovat, pojmenujte index - vybrali jsme covid - a poté znovu klikněte na Importovat, abyste získali data do svého klastru.

Zajímavé články...