Loginom: основные возможности

Компания Loginom Company была создана 22 ноября 1995 года в Рязани и ранее называлась BaseGroup Labs. Начиная с 1999 года, компания сконцентрировала все свои ресурсы на разработке программных систем, предназначенных для глубокого анализа данных, охватывающих вопросы сбора, интеграции, очистки данных, построения моделей и визуализации. Было выполнено множество проектов в этой области с российскими и зарубежными компаниями, тем самым в дальнейшем объединив все разработки в одну аналитическую платформу Deductor. В конце 2017 года компания представила новую аналитическую платформу Loginom.

Аналитические платформы развиваются по нескольким ключевым направлениям: визуализация, машинное обучение, нейронные сети. При этом каждое направление имеет проблемы при решении определенных задач. В частности, визуализация не решает сложных задач по консолидации и очистке данных, проведению сложных расчетов, прогнозированию и оптимизации. Машинное обучение не эффективно, когда недостаточно данных, нет фиксации влияющих факторов. Поэтому при анализе данных применимы все возможные способы. [1]

Большинство программ для глубокой аналитики были доступны преимущественно крупным компаниям, но Loginom предоставляет совершенно новый подход к проектированию, который ориентирован на потребности компаний малого и среднего бизнеса. Спустя полгода после презентации Loginom была включена в Единый реестр российских программ для электронных вычислительных машин, что позволило проще взаимодействовать с потребителями. [2]

На данный момент Loginom – флагманский продукт компании, концентрирующей многолетний опыт компании и вобравший в себя самые удачные архитектурные идеи и современный математический аппарат. Потребность в решении аналитических задач возникает в различных сферах: банки и финансы, розничная и оптовая торговля, телекоммуникации, государственные органы, промышленность, информационные технологии, наука и образование, медицина.

В Loginom представлены встроенные возможности сложных расчетов, консолидации, оптимизации данных и прогнозирования. Помимо этого, пользователям доступны наборы инструментов для самостоятельной настройки параметров анализа, смены правил и модификации процессов. В Loginom встроена очистка данных, интеграция с любыми хранилищами данных, включая базы данных, отдельные файлы, учетные системы, социальные сети, веб-сервисы и т.д. Платформа обладает удобным интуитивно-понятным пользовательским интерфейсом, не требующим для работы специальной подготовки, что позволяет получать преимущества от применения глубокой аналитики в самые короткие сроки. Loginom поддерживает технологии анализа: от простой логики до машинного обучения. Платформа поддерживает веб-сервисы и мобильные приложения для работы с системой, обладает широким выбором возможностей для визуализации результатов [1].

Использование данной аналитической платформы возможно на любой рабочей станции с минимальными системными требованиями. Воспользоваться Loginom возможно с помощью браузера на любой удобной платформе (ПК, планшет, смартфон). Loginom эффективно оптимизирует аппаратные ресурсы и способен работать на серверах со слабой производительностью. Систему можно развернуть как в частном, так и в публичном облаке.

Для решения задач анализа Loginom позволяет импортировать данные из различных источников и применять к ним необходимые алгоритмы обработки. Помимо рекомендуемых алгоритмов, продвинутый пользователь может использовать свои настройки для анализа данных. Результаты можно визуализировать в самой системе или экспортировать в сторонние визуализаторы данных. Таким образом, Loginom может использоваться как для создания автономных аналитических решений, так и для разработки модулей, интегрируемых со сторонними системами.

В основе построения «решений» Loginom лежит методология структурного проектирования – представление алгоритма в виде иерархической структуры блоков. Каждый блок на своем уровне иерархии может быть представлен в виде модели черного ящика, выполняющего независимую подзадачу. Механизм решения подзадачи внутри черного ящика можно изменить, но в целом «решение» при этом останется работоспособным и будет выполнять поставленные задачи. Спроектированное таким образом «решение» имеет четкую, легко читаемую архитектуру. Все это позволяет создавать и сопровождать структурно сложные проекты, а также делегировать решение выделенных подзадач.

Особенностью подобного подхода является проектирование «сверху вниз» – от общей постановки задачи к отдельным подзадачам. На первом этапе проектирования описывают решение поставленной задачи, выделяя независимые подзадачи. На следующем аналогично описывают подзадачи, формулируя при этом элементы следующего уровня. Таким образом, на каждом шаге происходит уточнение функций проектируемого «решения». Процесс продолжается, пока не доходят до подзадач, алгоритмы решения которых очевидны. [3]

Одной из основных идей, на которых базируется Loginom является «сценарий» – последовательность действий, которые необходимо провести для анализа данных. Сценарий обработки представляет собой комбинацию узлов обработки данных, настраиваемую пользователем для решения конкретной задачи. Узел сценария выполняет отдельную операцию над данными. Перечень возможных операций представлен в виде различных готовых компонентов двух типов:

• •    Стандартные компоненты – предоставляются в рамках платформы;

• •    Производные компоненты – создаются и настраиваются пользователем.

Стандартные компоненты делятся на группы в зависимости от задач, которые они решают (табл. 1).

Производный компонент можно создать из комбинации узлов сценария, реализующих произвольную логику обработки. Таким образом набор средств для реализации различной логики обработки данных не ограничивается стандартными компонентами платформы и может быть расширен самим пользователем.

Чаще всего для создания производного компонента используется подмодель. Подмодель является специальным узлом, способным включать в себя другие узлы сценария. Реализованная в Подмодели логика может быть произвольной, при этом разработчик сценария может рассматривать её как «черный ящик». Подмодель принимает информацию через входные порты, производит обработку и выдает результат на выходные порты. Входные и выходные порты задаются пользователем.

Таблица 1 – Описание стандартных компонентов

Название	Описание
Трансформация	С помощью обработчиков этой группы производятся различные манипуляции с данными. Например, преобразование типов и форматов, сортировка, группировка, слияние и др.
Управление	Компоненты группы предназначены для оптимизации сценариев путем создания подмоделей и повторного использования узлов, а также формирования логики выполнения сценариев при помощи условий и циклов.
Исследование	С помощью этих обработчиков можно оценить и/или визуализировать структуру и статистические характеристики данных. Также с их помощью проводятся разведочный и описательный анализы.
Предобработка	Предварительная обработка данных для их дальнейшего использования в алгоритмах Data Mining. Применяются такие методы, как заполнение пропусков, сэмплинг, редактирование выбросов и другие.
Data Mining	Обработчики, выделенные в эту группу, являются инструментами для реализации различных методов Data Mining: кластеризация, ассоциативные правила и другие.
Переменные	В Loginom имеется возможность создавать и использовать переменные. Обработчики этой группы позволяют проводить различные операции над ними: изменение, создание переменных из таблицы, расчет новых переменных с помощью различных функций.

Визуализировать полученных данные в Loginom возможно в виде таблиц, диаграмм и кубов (многомерное представление данных).

Также в Logimon представлены механизмы интеграции данных, которые предназначены для обмена данными между платформой Logimon и сторонними внешними системами, такими как базы данных, файловые хранилища данных (электронные таблицы, текстовые файлы и т.д.), вебсервисы. Однако для интеграции необходима предварительная настройка подключения.

Аналитическая платформа постоянно улучшается разработчиками. По сравнению с предыдущей версией Loginom, объем обрабатываемых данных увеличился с 2 Гб до 16 Тб. Время установки новых решений сократилось с нескольких суток до 5 минут, увеличилась скорость обработки данных. [2]

На данный момент в Loginom появилась поддержка языка программирования JavaScript (в дальнейшем планируется поддержка Python):

• •    Безопасный код.

• •    Встраиваемый поток обработки данных.

• •    Загрузка внешних модулей.

В визуализации появились следующий функции:

• •    Опциональное автообновление.

• •    Детализация ячейки.

• •    Сворачивание/разворачивание.

В патче Loginom 6.2 появятся ряд новых функций и исправления ошибок [5]: функция импорта данных из Deductor, поддержка 1C, вызов функции REST-сервиса, интеграция в российской технологической платформой Odant.

Также добавлена новая функция прогнозирования временных рядом ARIMAX.

Реализована логистическая и линейная регрессия (отбор факторов и построение модели с выбором приоритетов: достоверных/недостоверных данные, больше/меньше факторов, точность/скорость):

• •    Классические алгоритмы: Enter. Forward. Backward. Stepwise.

• •    Современные алгоритмы с защитой от переобучения: LASSO, Ridge, Elastic-Net.

Помимо стандартных алгоритмов доступна детальная настройка логистической регрессии.

Добавлены следующие функции нейросети:

• 1.    Автоподбор структуры и степени регуляризации

• •    Выбор оптимальной структуры.

• •    Защита от переобучения.

• •    Экономия времени и памяти.

• 2.    Метаалгоритм, не требующий участия пользователя с начальной точкой и без:

• •    Golden Section.

• •    Hill Clibming.

• •    Exhaustive Search.

• 3.    Нормализация/денормализация встроена в Data Mining алгоритмы:

• •    Логистическая регрессия.

• •    Линейная регрессия.

• •    Нейросеть (классификация, регрессия).

• •    Кластеризация (k-means).

• •    EM-кластеризация.

• •    SONN.

• •    Прогнозирование (ARIMAX).

При большом количестве данных использование обобщающей способности моделей позволяет выполнять разбиение на множества, встроенное в компоненты там, где оно необходимо:

• •    Случайный и последовательный сэмплинг.

• •    Автоматический расчет всех показателей на обучающем и тестовом множествах.

При небольшом количестве данных рекомендуется использовать кросс-валидацию:

• •    K-folds.

• •    Shuffle split.

Loginom –это совершенно новый продукт, который планирует полностью изменить подход к анализу данных. В Loginom встроены все необходимые алгоритмы анализа данных – от формул до машинного обучения. Архитектура Loginom позволит сократить время реализации внедрения решений в несколько раз по сравнению с Deductor. Благодаря интеграции с различными источниками данных, Loginom будет являться отличным решением для компаний, у которых данные расположены в разных форматах и применять к ним необходимые алгоритмы обработки.