ПАО "Газпром нефть" первой среди российских компаний внедрила комплексную аналитическую платформу управления данными ("умное озеро данных

12 фев 2020 13:40 #91056 от ICT
"Умное озеро данных" включает компоненты обработки, хранения и анализа данных – Data lake и хранилище данных, лабораторию продвинутой аналитики Data science, работающие в тесной интеграции с компонентами Data Governance. Внедрение аналитической платформы является частью стратегии цифровой трансформации дирекции региональных продаж, где около 50% всех аналитических проектов и инициатив уже реализуются в контуре "умного озера данных", а в 2020 г. – их доля достигнет не менее 75%. Как рассказали ComNews в "Газпром нефти", инвестиции в проект составили около 300 млн руб. Разработка велась преимущественно собственными силами сотрудников дирекции региональных продаж "Газпром нефти". Инвестиции были потрачены в основном на покупку оборудования и приобретение лицензий ПО, а также на оплату инженерных работ, рассказали в компании. Ключевые для "умного озера данных" компоненты Data Governance были реализованы на платформе Informatica. Партнером по поставке и поддержке внедрения продуктов Informatica выступила компания DIS Group, официальный представитель Informatica в России и СНГ. Как пояснили ComNews в "Газпром нефти", "Умное озеро данных ДРП" – это название комплексной системы управления данными, а не просто разновидность Data Lake. "Мы использовали такое название, чтобы кратко выделить ключевые особенности решения. "Умное озеро данных ДРП" включает в себя подсистемы Data Governance на платформе Informatica (каталог данных, управление качеством данных, бизнес-глоссарий, пользовательский портал обзора данных), компоненты интеграции данных, а также интегрированные с ними компоненты обработки больших данных (на основе Arenadata Hadoop), аналитическое хранилище данных (Microsoft SQL Server 2017), BI (Qlik), аналитическую лабораторию с набором инструментов Data Science", – пояснили ComNews в пресс-службе компании. Обычно в компаниях ИТ-подразделения внедряют системы обработки данных (озера и хранилища данных), и иногда бизнес-подразделения реализуют изолированные проекты в области Data Governance, рассказывают в "Газпром нефти". "В 2016 г. исследовательская компания Gartner опубликовала продвинутую архитектуру платформы Big Data, в которой компоненты для обработки различных данных работают совместно с компонентами управления данными. На сегодняшний день не существует готовых промышленных решений, реализующих в полной мере эту архитектуру, к ней приближаются Microsoft и Amazon в своих публичных облаках. Опубликованных проектов создания комплексных платформ управления данными внутри частных компаний нет даже в международной практике. Команда в ДРП реализовала такое комплексное решение (называемое для краткости "умное озеро данных"), обеспечив совместную работу компонент и участников команды разработки, на базе актуальных практических бизнес-кейсов", – объяснили уникальность разработки в компании. Комплексное решение создает гибкую инфраструктуру для любых задач анализа и системного улучшения качества данных, что позволяют бизнесу быстро разрабатывать и внедрять клиентские решения и повышать операционную эффективность сбытового бизнеса. За счет централизации обработки и хранения данных снижаются затраты на инфраструктуру и подготовку данных для проектов компании. Сотрудники получают мгновенный доступ через единый пользовательский портал к описаниям любых объектов и наборов данных. Компания может предугадывать предпочтения клиентов и персонализировать предложения. Первые задачи "умного озера" включили в себя обработку транзакций сети АЗС "Газпром нефть", расчет сегментов для клиентской аналитики, анализ обратной связи от клиентов. Кроме этого, в платформу были интегрированы данные значительного числа внешних источников, в частности, Санкт-Петербургской товарно-сырьевой биржи, сайтов Центробанков России и СНГ, географические и метеорологические ресурсы, метрики и отзывы Google, App Store, Яндекс, открытые данные социальных сетей, различные данные партнеров и сведения о конкурентах, данные мобильных приложений. "Мы создали комплексную инфраструктуру работы с данными, реализовав сложную современную архитектуру Big Data. Для выполнения проекта был создан Центр аналитических решений, включающий подразделения по инжинирингу данных и Центр компетенций по Data science, создана "с нуля" сильная команда внутри и вся разработка проведена без привлечения внешних подрядчиков. Мы уже видим эффект от внедрения "умного озера данных" в сокращении затрат на поиск и поставку качественных данных для цифровых инициатив и проектов. Ожидаем, что, благодаря активному использованию инструментов Data Governance в течение трех лет повысим качество данных на 60%, что значительно снизит операционные риски и затраты бизнеса", – отметил директор по региональным продажам "Газпром нефти" Александр Крылов. В рамках проекта создана универсальная централизованная среда для Big Data и продвинутой аналитики, в рамках которой данные становятся общедоступными для менеджеров на всех этапах обработки и работают инструменты, позволяющие системно улучшать качество данных. В планах у "Газпром нефти" постепенно интегрировать в эту среду все связанные с интеграцией данных и аналитикой проекты и инициативы сегмента сбыта моторных топлив. Внедрение подобных платформ управления данными – это важный шаг на пути к техническому перевооружению российских компаний, отмечает директор по развитию web-технологий компании Artezio (входит в группу "Ланит") Сергей Матусевич. "Газпром нефть", безусловно, инноватор в этой области, – фиксирует он. – Только за 2019 г. компания реализовала ряд крупных информационных проектов. Но нужно понимать, что у других российских компаний может не быть достаточных ресурсов, чтобы повторить подобные проекты. Основная проблема состоит в том, что подобные платформы не могут пока стать универсальными. Это снизило бы стоимость интеграции и позволило бы повысить эффективность работы многих российских компаний. Однако пока в каждом конкретном случае, речь идет о персонализированной разработке, даже в рамках одной индустрии или даже группы компаний". Особенность и уникальность системы "Газпром нефти" заключаются не только в том, что это масштабный Data Lake на уровне всего предприятия, интегрирующий большое количество различных источников, но и в том, что это одно из первых в России полномасштабных внедрений системы на базе инструментов Data Governance, указывает эксперт направления Big Data ИТ-компании "Крок" Егор Осипов. "Внедрение таких систем позволяет управлять данными компании, как активом: контролировать качество данных, повышать осведомленность бизнеса о наличии данных, а главное выстроить прозрачный процесс коммуникации между бизнесом и ИТ при работе с данными", – перечисляет он. Директор департамента Нефть и Газ компании "Техносерв" Андрей Глушук замечает, что "Газпром нефть" является лидером в отечественной индустрии по цифровизации и внедрению современных технологий. "Сейчас это решение можно назвать уникальным. Применение аналитической платформы Data lake и ее популяризация будут способствовать повышению операционной деятельности компаний не только нефтегазовой отрасли, но и других сфер", – полагает он. Ссылка на источник


  • Сообщений: 75474

  • Пол: Не указан
  • Дата рождения: Неизвестно
  • Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

    Похожие статьи

    ТемаРелевантностьДата
    ПАО "Газпром нефть" первой среди российских компаний внедрила комплексную аналитическую платформу управления данными ("умное озеро данных81.6Среда, 12 февраля 2020
    ПАО "Газпром нефть" первой среди российских компаний внедрила комплексную аналитическую платформу управления данными ("умное озеро данных81.6Среда, 12 февраля 2020
    ПАО "Газпром нефть" первой среди российских компаний внедрила комплексную аналитическую платформу управления данными ("умное озеро данных81.6Среда, 12 февраля 2020
    "Газпром нефть" создала платформу управления данными27.31Среда, 12 февраля 2020
    "Газпром нефть" внедрила систему управления закупками на платформе SAP21.72Среда, 04 февраля 2015
    «Газпром нефть» внедрила цифровую систему управления логистикой в Арктике21.49Вторник, 09 апреля 2019
    «Газпром нефть» при помощи технологии Intergraph SmartPlant for Owner Operators создаст систему управления инженерными данными21.11Четверг, 25 августа 2016
    ПГК первой среди российских транспортных компаний перешла на SAP S/4HANA20.91Вторник, 11 июня 2019
    CleverData внедрила платформу управления данными 1DMP в «Инстам»19.84Вторник, 02 февраля 2016
    Новым генеральным директором ООО "Ноябрьскнефтегазсвязь" (ННГС) - корпоративного оператора связи группы компаний "Газпром нефть" - стал Кир15.9Четверг, 26 декабря 2019

    Мы в соц. сетях