Система сбора, обработки и хранения данных
- ООО "Микроника"
- Телеметрия, сбор, обработка и хранение данных
Интеллектуальная телеметрическая сеть оптимизирует производство распределение и потребление ресурсов за счет внедрения информационно-коммуникационных технологий. В сущности, интеллектуальные телеметрические сети передают большие объёмы данных в информационные системы:
- новые информационные потоки, идущие от сети, распределяющей ресурсы;
- от новых участников сети распределения ресурсов, таких например как децентрализованных производителей возобновляемых источников энергии;
- информационные потоки, поступающие от домов с подключенным коммуникационным оборудованием: интеллектуальные счетчики, датчики, дистанционно управляемые узлы сети.
Одной из особенностей реализации интеллектуальных телеметрических систем является значительное увеличение потока обрабатываемых данных за счет установки интеллектуальных счетчиков, различных датчиков и сигнализаторов в сети. Например, счетчик с универсальным модулем телеметрии может отправлять данные о потребляемом пользователе ресурсе каждые 15 минут, так что каждый миллион счетчиков будет отправлять информацию 96 000 000 раз в сутки.
Таким образом, системы сбора, обработки и хранения данных должны быть достаточно производительными, чтобы быть в состоянии справиться большим потоком данных, их хранением и обработкой.
Информационные системы являются ключевыми компонентами интеллектуальных телеметрических сетей, которые взаимодействуют друг с другом, повышая их эффективность, гибкость и масштабируемость.
Структура системы
Службы системы сбора, обработки и хранения данных получают телеметрические данные от узлов сети, а затем используют их для получения информации о состоянии линий электропередач, трубопроводов, теплотрасс, оборудования, объёмах потребляемых ресурсов и режимов их потребления.
Компоненты ССОХД
Система сбора, обработки и хранения данных включает в себя следующие компоненты:
- Программный комплекс диспетчерского управления и сбора данных (SCADA), к нему поступает информация от измерительных узлов телеметрической системы. Данный программный комплекс является надежной и безопасной системой для мониторинга и контроля в сети, обладает возможностью собирать данные из любых систем. Задачей SCADA является сбор данных, обмен данными, представление данных в различных формах и управление, что влечет за собой повышение уровня автоматизации, эффективности и снижению затрат. Позволяет оптимизировать сети, распределяющие ресурсы (газ, вода, электроэнергия, тепло и т.д.), предлагая большее количество возможностей:
- применение программируемых элементов управления;
- регулируемая длительность измерительных интервалов и т.д.
- MDMS;
- операционные шлюзы;
- системы для интеграции данных в платформы прикладного программного обеспечения.
- Служба управления перенаправлением потоков ресурсов (OMS). Утилиты информационной системы ССОХД стремятся обеспечить наиболее комфортный уровень использования, путем обнаружения, локализации и устранения перебоев в подаче ресурсов в очень короткий промежуток времени.
- Служба географической информации позволяет иметь визуализацию нахождения на картах магистральных сетей и сетей распределения электроэнергии, газовых трубопроводов, теплотрасс, трубопроводов подачи воды, мест нахождения потребителей и измерительных узлов.
- Служба клиентского терминала (CIS) позволяет организовать обмен информации между клиентами сети (потребителями ресурсов) и информационной системой.
- Служба хранения и архивирования данных в информационной системе имеет решающую роль, поэтому существует необходимость иметь развитой и масштабируемый механизм хранения больших объёмов данных, включающий в себя:
- распределенную файловую систему (DFS), которая позволяет нескольким пользователям с разных компьютеров вместе пользоваться совместными файлами и ресурсами и позволяет каждому пользователю получить локальную копию сохраненных данных. Существует большое количество решений которые использует DFS, например : Googles DFS, Qantcast System, HDFS, Ceph, Luster GlusterFS и т.д.
- Базы данных NoSQL представляет собой новый подход к базам данных для преодоления ограничений традиционных реляционных баз данных SQL в случае больших объёмов данных.