Цифровые «отходы». Файлы журналов. Данные временного ряда. Большие данные.

Машинные данные, как бы они ни назывались, представляют собой один из самых недооцененных и недостаточно используемых активов любой организации. Но в этих данных скрываются важнейшие сведения, которые только можно получить из всех ИТ- и бизнес-систем организации: в какой момент возникает ошибка, как оптимизировать взаимодействие с клиентом, следы мошенничества. Все эти ценные сведения находятся в машинных данных, которые генерируются в ходе обычной работы организации.

Машинные данные содержат точные сведения обо всех действиях и поведении заказчиков и пользователей, а также о транзакциях, приложениях, серверах, сетях и мобильных устройствах. Сюда входят конфигурации, данные из API-интерфейсов, очереди сообщений, события изменений, результаты диагностических команд, записи о вызовах, данные с датчиков производственных систем и многое другое.

Главная проблема при использовании машинных данных состоит в том, что они поступают в огромном количестве и в самых непредсказуемых форматах, а традиционные средства диагностики и мониторинга не рассчитаны на разнообразие, скорость, объем и непостоянство этих данных. И тогда на помощь приходит Splunk.

Платформа Splunk использует машинные данные — цифровые «отходы» систем, технологий и инфраструктур, поддерживающих современный бизнес, — для работы с большими данными, для ИТ-операций, для систем безопасности и аналитики. Ценная информация, полученная из машинных данных, может использоваться в любых сценариях по всей организации, а также обогащаться данными из других источников. Структура машинных данных предприятия предоставляет доступ к машинным данным всей организации и упрощает получение ценной информации. Это мы и называем операционным анализом.

Начало работы
  • Видеозапись
    Что такое машинные данные?
  • Краткое описание Splunk Enterprise
  • Официальная публикация (требуется регистрация) Сделайте машинные данные стратегическим активом
  • Ресурс Эффективность языка Splunk Search Processing Language (SPL)
  • Инфографика Структура машинных данных предприятия

Источники машинных данных

Источники машинных данных

В каждой среде есть свои уникальные источники и области применения машинных данных. Вот всего лишь несколько примеров.

Тип данных Где их можно найти Что они могут вам дать
Журналы приложений Локальные журналы, log4j, log4net, Weblogic, WebSphere, JBoss, .NET, PHP Сведения об активности пользователей, обнаружении мошенничества, производительности приложений
Журналы бизнес-процессов Журналы управления бизнес-процессами Сведения об активности пользователей по всем каналам, покупках, изменениях счетов, отчетах о проблемах
Регистрация вызовов Записи о вызовах, данные по учету стоимости, данные о событиях, запротоколированных средствами связи и сетевыми коммутаторами Сведения о выставлении счетов, сохранении доходов, гарантированном обслуживании клиентов, взаимодействии с партнерами, сборе маркетинговой аналитики
Данные по истории посещений веб-сайтов Веб-сервер, маршрутизатор, прокси-серверы, серверы рекламы Сведения для анализа удобства веб-ресурсов, маркетинговых исследований в Интернете и общих исследований
Файлы конфигурации Файлы конфигурации системы Сведения для понимания особенностей инфраструктуры, устранения ошибок, ловушек, временных бомб
Журналы аудита базы данных Журналы базы данных, таблицы аудита Сведения об изменениях базы данных за определенный промежуток времени и информация о лице, внесшем эти изменения
Журналы аудита файловой системы Конфиденциальные данные, хранящиеся в общих файловых системах Сведения для мониторинга и контроля доступа к конфиденциальным данным
API-интерфейсы управления и ведения журналов Журналы контрольных брандмауэров, созданные с помощью API-интерфейса экспорта журналов OPSEC (OPSEC LEA) и других специфических API-интерфейсов поставщиков, предоставленных VMware и Citrix Сведения о данных управления и событиях журналов
Очереди сообщений JMS, RabbitMQ и AquaLogic Сведения для устранения ошибок в сложных приложениях и создания основы архитектуры ведения журналов приложений
Команды для получения метрик, проверки состояния и диагностики операционных систем Метрики ЦП и памяти и информация о состоянии, получаемые с помощью средств командной строки, например ps и iostat в Unix и Linux, и монитора производительности в Windows Сведения о методах и аспектах устранения неполадок, анализа тенденций, обнаружения скрытых проблем и расследования инцидентов безопасности
Данные о пакетах и потоках Средства tcpdump и tcpflow, с помощью которых создаются данные о захваченных пакетах и потоках и другая полезная информация уровня пакетов и сеансов Сведения об ухудшении производительности, превышениях времени ожидания, узких местах и подозрительных действиях, которые свидетельствуют о возможной угрозе для сети или дистанционной атаке
Данные SCADA Система диспетчерского управления и сбора данных (Supervisory Control and Data Acquisition, SCADA) Данные для выявления тенденций, повторяемостей, отклонений в инфраструктуре SCADA и предоставления клиентам ценных преимуществ
Данные датчиков Датчики, создающие данные в процессе мониторинга условий окружающей среды: температуры, звука, давления, энергии, уровня грунтовых вод Данные для мониторинга уровня грунтовых вод, контроля работоспособности оборудования и систем типа «умный дом»
Системный журнал Системные журналы коммутаторов, маршрутизаторов и сетевых устройств Сведения о методах и аспектах устранения неполадок, анализа и аудита безопасности
Журналы веб-доступа В журналах веб-доступа фиксируется каждый запрос, обработанный веб-сервером Сведения об аспектах веб-аналитики для маркетинговых мероприятий
Журналы прокси-серверов Прокси-серверы протоколируют каждый веб-запрос, поступивший от пользователя через прокси Сведения о методах и аспектах мониторинга и расследования случаев нарушения условий обслуживания или утечки данных
События Windows Журналы событий приложения для Windows, безопасности и системы Помогают обнаруживать проблемы с критически важными бизнес-приложениями, безопасностью и использованием ресурсов.
Сетевые данные Операции запросов и записей DNS, сведения об уровне протокола, в том числе заголовки, содержимое, записи потока Своевременные сведения о методах и аспектах мониторинга производительности и доступности приложений, опыта взаимодействия конечных пользователей, расследования инцидентов, работы с сетями, обнаружения угроз, мониторинга и соответствия требованиям