Amazon MSKを活用したメッセージングシステムの構築
19 6月, 2023 by
yang
| No comments yet

こんにちは、ヤンです。今日はAmazon Managed Streaming for Apache Kafka(以下、Amazon MSK)についてお話しします。Amazon MSKは、Apache Kafkaのセットアップ、スケーリング、運用をAmazonが管理するフルマネージド型のサービスです。この記事では、Amazon MSKを使ってメッセージングシステムを構築する方法を解説します。まず、Amazon MSKのクラスターを作成します。AWSマネジメントコンソールにログインし、左側のナビゲーションパネルから「MSK」を選択します。その後、「クラスター作成」をクリックし、必要な設定を入力します。設定項目には、クラスター名、Kafkaバージョン、VPC、セキュリティグループ、サブネットなどがあります。これらの設定を完了したら、「クラスター作成」をクリックしてクラスターの作成を開始します。次に、Amazon MSKのクラスターに接続します。クラスターが作成されると、その詳細ページからZookeeper接続文字列を取得できます。この接続文字列を使って、Kafkaクライアントからクラスターに接続します。具体的には、Kafkaクライアントの設定ファイルに以下のように記述します。```
bootstrap.servers=<Zookeeper接続文字列>
```これで、KafkaクライアントからAmazon MSKのクラスターに接続できるようになります。最後に、Amazon MSKのクラスターを使ってメッセージを送受信します。メッセージの送信はKafkaのProducer APIを使って行います。以下に、Javaでのサンプルコードを示します。```java
Properties props = new Properties();
props.put("bootstrap.servers", "<Zookeeper接続文字列>");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");Producer<String, String> producer = new KafkaProducer<>(props);
producer.send(new ProducerRecord<String, String>("test", "key", "value"));
producer.close();
```同様に、メッセージの受信はKafkaのConsumer APIを使って行います。以下に、Javaでのサンプルコードを示します。```java
Properties props = new Properties();
props.put("bootstrap.servers", "<Zookeeper接続文字列>");
props.put("group.id", "test");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");Consumer<String, String> consumer = new KafkaConsumer<>(props);
consumer.subscribe(Arrays.asList("test"));
while (true) {
    ConsumerRecords<String, String> records = consumer.poll(100);
    for (ConsumerRecord<String, String> record : records)
        System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
}
```以上で、Amazon MSKを使ったメッセージングシステムの基本的な構築方法を解説しました。Amazon MSKは、スケーリングや運用を自動で行ってくれるため、開発者はアプリケーションの開発に集中できます。ぜひ一度、Amazon MSKを試してみて

TOPBLOG技術ブログ

ください。

サインイン to leave a comment