Представляем Red Hat OpenShift Streams for Apache Kafka

4.05.2021

Организации вполне четко понимают ценность Apache Kafka и хотели бы использовать это решение в составе умных облачных приложений для обработки событийных данных. Многие клиенты Red Hat применяют механизм операторов, чтобы упростить развертывание, настройку и управление экосистемой Kafka на платформе Red Hat OpenShift с использованием компонента Red Hat AMQ streams. Сегодня мы делаем следующий шаг, сокращающий трудоемкость развертывания и интеграции Kafka в корпоративную ИТ-среду, и представляем Red Hat OpenShift Streams for Apache Kafka, автономный Kafka-кластер, всю заботу о котором берет на себя компания Red Hat.

Вкратце об Apache Kafka

Если вы никогда не слышали о Kafka, или слышали, но без объяснения того, что делает и как используется эта технология, то ниже мы приводим ее краткое описание. Более подробный вариант размещен на сайте Red Hat.

Kafka –это платформа с открытым исходным кодом, которая помогает перемещать и потреблять большие объемы данных. Она создана в компании LinkedIn и теперь существует под эгидой Apache Software Foundation. Kafka может подключаться к большому количеству источников и приемников данных, таких как PostgreSQL или AWS S3, и может использоваться для обработки потоков событий при помощи различных языков программирования. Возможности Kafka выходят далеко за рамки пакетной обработки, формируя то, что можно назвать следующим поколением систем обмена сообщениями.

Kafka обычно используется для двух основных задач: анализа данных и обработка потока событий. Анализ данных может возникать в ходе процессинга платежей, обработки данных с сенсоров IoT, в приложениях для социальных сетей, в системах дистанционной медицины и так далее. Что касается обработки потока событий, то представьте, что у вас есть непрерывный поток данных в точке A, и вам надо быстро передавать его в точку B, где данные получается обрабатывать более эффективно.

Исторически, в приложениях использовалась пакетная обработка данных, что приводило к задержкам и волновало потребителей информации: как внешних клиентов, так и внутренних пользователей. Использование Kafka для доставки потоковых данных позволяет решать эту задачу быстрее и лучше.

Аналогичным образом, Kafka полезен и при обработке потоков событий, что особенно актуально в контексте переход организаций от монолитных приложений к слабо связанным микросервисам. Kafka вместе с API значительно облегчает потребление микросервисов и хорошо ложится на методологию разработки agile.

В распределенной управляемой событиями архитектуре должна быть некая «магистраль», которая берет на себя сбор и передачу событий, помогает организовать их обработку. Kafka отлично подходит на роль такой коммуникационной магистрали, связывающей источники данных и события с приложениями.

Аналогично, использование Kafka оказывается уместно там, где надо обеспечить поток информации к приложениям, которым необходим доступ к данным по мере их возникновения, а также в ситуациях, когда надо анализировать потоковые данные.

Однако, установка, управление и сопровождение Kafka своими силами – это то, что не прибавляет ценности, но добавляет затраты. Так что практически любая организация хотела бы получить уже настроенный и работающий кластер Kafka, интегрированный с Kubernetes-средой и полностью готовый к использованию.

Apache Kafka как инструментария разработки и развертывания приложений и сервисов

В Red Hat OpenShift Streams for Apache Kafka мы берем на себя всё, что касается инфраструктуры, аптайма и обновлений Kafka, чтобы заказчик мог полностью сосредоточиться на построении и масштабировании своих приложений. Вы получаете доступ в режиме 24x7, гарантированный по SLA аптайм на уровне 99.95%, метрики, мониторинг и многое другое, что сэкономит вашим специалистам массу времени, которое они смогут потратить на то, что принесет реальную выгоду вашему бизнесу.

Для нас высшим приоритетом при разработке OpenShift Streams был пользовательский опыт разработчика. Поэтому, этот сервис значительно оптимизирует работу программиста при создании, развертывании и масштабирования приложений реального времени в гибридных облачных средах.

Преимущества OpenShift Streams for Apache Kafka

Пока доступное в версии development preview, решение OpenShift Streams for Apache Kafka обеспечивает согласованность операций при работе с распределенными микросервисами, большими объемами передаваемых данных и управляемыми сервисами. Red Hat берет на себя всё, что касается инфраструктуры Kafka, так что ваши ИТ-администраторы смогут сосредоточиться на других задачах, а разработчики – самостоятельно использовать все необходимые ресурсы Kafka, действуя независимо и эффективно.

OpenShift Streams for Apache Kafka управляется силами подразделения Red Hat Site Reliability Engineers. Как и в случае с другими управляемыми сервисами и продуктами OpenShift, все ежедневные операции, такие как протоколирование и обновление, проактивно выполняются без участия заказчика.

Хотя OpenShift Streams for Apache Kafka не требует от вас использовать OpenShift, он прекрасно вписывается в процесс построения приложений на этой платформе. Red Hat предоставляет операторы для привязки к сервису, позволяющие разработчикам легко подключать рабочие нагрузки OpenShift к топикам Kafka.

С OpenShift Streams for Apache Kafka разработчик получают все необходимое для создания, поиска и подключения к потокам данных реального времени, вне зависимости от того, где они развернуты. Это значительно облегчает подключение к слабо связанным микросервисам, работающим на платформе OpenShift, при создании пользовательских интерфейсов для работы в реальном времени и приложений для анализа данных. Работа с сервисом ведется через веб-интерфейс на сайте cloud.redhat.com, REST API или через интерфейс командной строки.

Естественно, мы планируем связать OpenShift Streams for Apache Kafka с реестром схем, чтобы команды разработчиков могли легко обнаруживать и подключаться к потоковым топикам других команд, а также публиковать свои топики, чтобы их могли использовать другие разработчики в вашей организации.

OpenShift Streams for Apache Kafka также можно объединить с другими нашими управляемыми облачными сервисами, такими как Red Hat OpenShift API Management (доступен в виде финальной версии) и Red Hat OpenShift Data Science (пока тоже только в версии development preview).

Пресс-служба Red Hat

Тема:Soft