はじめに
GLB事業部Lakehouse部の陳(チェン)です。 現地でのData + AI SUMMIT2023（DAIS）に参加している永江の報告をもとに、セッションの内容をまとめた記事を書きました。
本記事では、"The Future is Open: Data Streaming in an Omni-Cloud Reality"というセッションについてご紹介します。 この講演は、Catalyst SoftwareのシニアスタッフエンジニアであるChristina Taylor氏によって行いました。 未来に対応した低レイテンシのデータシステムを作成するためのオープンネスと相互運用性に焦点を当てながら、データストリーミング技術とベストプラクティス、BIDとインフラストラクチャのコードのベストプラクティスについて紹介します。
データストリーミング技術とベストプラクティス
データストリーミング技術は、今後ますます重要性が増すと予想されます。増分的な技術の活用や、オープンソースと管理されたテクノロジーの組み合わせによるベストプラクティスを理解し、実践することで、未来に対応した低レイテンシのデータシステムを構築することができるでしょう。同時に、 オープンネスと相互運用性の重要性も指摘しています。
増分的な技術の活用方法
データストリーミングにおいて、増分的な技術の活用が重要であるとされています。増分的な技術とは、データの変更や更新をリアルタイムで捉え、データストリームに反映させる技術のことです。これにより、データの処理速度が向上し、リアルタイムでの分析や意思決定が可能になります。
具体的な増分的な技術の活用方法としては、以下のようなものが挙げられます。
- データの変更をリアルタイムで検出するためのイベントドリブンアーキテクチャの導入
- ストリーム処理エンジン（Apache Kafka、Apache Flinkなど）を用いたリアルタイムデータ処理の実現
- データの更新や削除を効率的に処理するためのデルタストリームの活用
オープンソースと管理されたテクノロジーのベストプラクティス
データストリーミングにおいて、オープンソースと管理されたテクノロジーの両方を活用することがベストプラクティスとされています。オープンソース技術においては、コミュニティによる開発やサポートがあり、柔軟性や拡張性が高いという利点があります。同時に、管理されたテクノロジーは、運用や保守が容易であり、信頼性やセキュリティが高いという利点があります。
BIDとインフラストラクチャのコードのベストプラクティス
BID（ビッグデータ、インターネット、データベース）とインフラストラクチャのコードのベストプラクティスについて説明し、チームがより速く作業し、複数の環境やプラットフォームにスケールする唯一の方法であると、Christina Taylor氏が主張しました。
BIDのポイント
- モジュール化: コードを再利用可能なモジュールに分割することで、開発速度を向上させることができます。
- 自動化: インフラストラクチャの構築やデプロイメントを自動化することで、手作業によるミスを減らし、効率を向上させることができます。
- バージョン管理: コードの変更履歴を追跡し、必要に応じて以前のバージョンに戻すことができるようにすることで、安全性と信頼性を確保します。
- テスト: コードの品質を保証するために、自動化されたテストを実施し、問題が発生した場合に迅速に対処できるようにします。
- ドキュメント: コードの理解とメンテナンスを容易にするために、適切なドキュメントを作成し、更新します。
まとめ
データストリーミング技術とBID、インフラストラクチャのコードのベストプラクティスを理解し、実践することで、未来に対応した低レイテンシのデータシステムを構築することができます。これらの知識を活用し、ビジネスの競争力を向上させることができるでしょう。
おわりに
現地でのDAISに参加しているメンバーからの報告をもとに、セッションの内容を解説しました。 DAIS期間中では、セッションに関する記事を以下の特設サイトに順次上げていきますので、見ていただけると幸いです。
