Open ETL

Разработка ETL-процесса и визуализация больших данных для OPEN Group

OPEN Group – ведущее трейд-маркетинговое агентство с 20-летней историей. Компания занимает лидирующие позиции в сфере комплексных решений по управлению продажами, внедряет инновационные технологии в управление персоналом и мерчандайзинг, динамично развивает направление аутсорсинга. OPEN сотрудничает с флагманами ритейла и FMCG, среди партнеров компании - ведущие разработчики программных продуктов и решений для индустрии рынка. Представлена 5 офисами с численностью персонала более 18 000 человек

Эксперты компании Open предоставляют аналитическую сводку для компаний из сферы розничной торговли. На основе этой информации компаниями принимаются управленческие решения по ассортименту и объёму продукции для каждой конкретной торговой точки.

В компании Open использовалось технологическое решение, реализованное на базе приложения Power BI от компании Microsoft.

Проблема

Power BI имело ограничение, которое не позволяло предоставлять аналитику на более высоком уровне.

Задача

Реализовать такое решение, которое позволит обойти ограничение программы Power BI.

Решение

Реализовано программное обеспечение Open ETL, позволяющее обрабатывать наборы данных в десятки гигабайт данных, что соответствует миллионам строк текстовой информации. Программное обеспечение Open ETL позволяет делать аналитические запросы в режиме реального времени на более детальном уровне, чем это было возможно делать с помощью Open ETL. Данная особенность нашей программы позволило закрыть бизнес-потребности для клиентов компании Open.

Программный комплекс состоял из настольного приложения для загрузки датасетов на сервер и веб-приложения с серверной частью для составления индекса для выполнения аналитических запросов и клиентской частью для визуализации данных по требованиям экспертов компании Open.

Технологии

  • ELK Stack: Elastic, Logstash, Kibana
  • Python
  • PyQt
  • Django
  • React