Вы, наверное, слышали об Elasticsearch - поисковой системе, которая позволяет вам индексировать, а затем быстро искать в ваших данных. Возможно, вы создали несколько визуализаций в Kibana, графическом интерфейсе пользователя для Elasticsearch, указывая и щелкая пальцем через гладкий интерфейс.
Возможно, вы не использовали менее известный плагин визуализации под названием Timelion.
Timelion - это фантастический инструмент для создания визуализаций, который позволяет писать ваши запросы на простом и мощном языке выражений для отображения графиков. Он используется для отображения данных временных рядов, таких как рост населения или количество посещений вашего веб-сайта.
- Вот список лучших ноутбуков для разработчиков
- Проверьте эти лучшие дистрибутивы для разработчиков
- С легкостью получайте данные на этих лучших рабочих станциях
Эта статья впервые появилась в журнале Linux Format Magazine, выпуск № 269, опубликованном в ноябре 2022-2023 года.
С помощью Timelion мы можем рассчитывать скользящие средние, отображать разницу между данными за прошлую неделю и сегодня, а также выполнять базовое обнаружение аномалий. Это полезный инструмент, с которым нужно уметь работать. Давайте начнем.
Монтаж
Если вы являетесь обычным читателем формата Linux, есть примеры компоновки докеров для настройки кластера в LXF261.
В противном случае установка Elasticsearch и Kibana относительно проста. Единственное требование - это Java, которую вы, возможно, уже установили.
Если не простой sudo apt install default-jre устанавливает его в дистрибутивы на основе Debian, либо sudo dnf install java должен делать то же самое для семейства дистрибутивов Red Hat.
Затем вам просто нужно загрузить последнюю версию Elasticsearch и Kibana для желаемой операционной системы.
На момент написания последняя версия кибана-7.8.1-Linux-x86_64.tar.gz.
Вы можете извлечь его с помощью tar -xvzf kibana-7.8.1-linux-x86_64.tar.gz, перейти в извлеченный каталог и запустить ./bin/kibana &, чтобы запустить экземпляр Kibana.
Когда вы выполните точно такие же шаги для настройки Elasticsearch, заменив kibana на elasticsearch, вы сможете перейти по адресу http: // localhost: 5601 в своем любимом браузере и увидеть новый блестящий интерфейс Kibana для игры. вокруг с.
Если вы предпочитаете устанавливать пакеты с помощью диспетчера пакетов, по той же ссылке, что и раньше, содержится информация о добавлении репозитория Elastic в вашу систему и установке пакетов Kibana и Elasticsearch таким образом.
Получите данные
Последние версии Kibana позволяют автоматически загружать наборы данных в наш кластер с помощью визуализатора данных, вместо того, чтобы создавать скрипт или конфигурацию Logstash. Он может работать с наборами данных в формате JSON или CSV, а также с некоторыми стандартными файлами журналов, такими как журналы Apache. Единственное ограничение - их размер меньше 100 МБ. Для наших целей этого более чем достаточно.
Мы будем использовать набор данных о случаях Covid-19 по всему миру с портала открытых данных ЕС. Мы загрузили CSV-файл из раздела "Ресурсы" на странице.
Если у вас есть проблемы, вы можете вместо этого загрузить версию Excel .xlsx, открыть с помощью LibreOffice Calc и сохранить ее в текстовом формате CSV (.csv). Существует также версия JSON, доступная для загрузки, которую вы можете использовать в качестве альтернативы.
Чтобы перейти к визуализатору данных в Kibana, щелкните значок гамбургера в левом верхнем углу, затем «Машинное обучение» и, наконец, «Визуализатор данных». После этого нажмите «Загрузить файл» в поле «Импорт данных», затем выберите или перетащите файл и выберите свой CSV-файл для загрузки.
После небольшого анализа он покажет некоторую статистику, полученную из первых 1000 строк файла CSV. Это будет тот формат, в котором, по его мнению, находится каждое из полей, например текст, дата или число, и выделение верхних значений, найденных в полях.
Обычно он хорошо разбирается в этом за нас. Если вам нужно внести какие-либо изменения, вы можете щелкнуть «Переопределить настройки», чтобы изменить - например, имя поля, которое будет установлено в Elasticsearch.
Одно имя поля, которое мы должны переопределить, это dateRep, который представляет дату для рассчитанного числа в нашем наборе данных. Timelion не знает, как использовать это поле в качестве поля времени по умолчанию, поэтому мы можем упростить нашу жизнь позже, переименовав это поле сейчас во что-то, что оно распознает.
Хороший кандидат отметка времени. Нажмите Применить, чтобы установить это. Когда вы будете довольны тем, как выглядит остальная часть, нажмите «Импорт» внизу, дайте индексу имя - мы выбрали covid - и затем снова нажмите «Импорт», чтобы перенести данные в свой кластер.
