はじめに

GLB事業部Lakehouse部のメイです。

現地でのData + AI SUMMIT2023（DAIS）に参加しているメンバーの報告をもとに、データ管理とガバナンスの未来についての「The Future of Data Management and Governance」を共有します。このセッションでは、Lakehouse Federationという新しい技術が紹介され、外部データへのアクセスを可能にし、パフォーマンスとエコシステムを改善することが目的とされています。ターゲット視聴者は、データ管理とガバナンスに興味のある技術者やデータアナリスト、データサイエンティストです。それでは、早速内容を見ていきましょう！

Lakehouse Federationとは？

Lakehouse Federationは、データ管理とガバナンスの未来を切り開く画期的な技術です。この技術により、外部データへのアクセスが容易になり、データの取得や分析が効率化されます。また、データのセキュリティやラインナップ、洞察の管理が向上し、データソースの統合が可能になります。

外部データソースとの連携を容易にする機能

Lakehouse Federationでは、以下のような最新の概念や機能、サービスが提供されます。

データの統合: さまざまなデータソースを統合し、一元的に管理することができます。
セキュリティ: データへのアクセス制御や監査が容易になります。
スケーラビリティ: 大量のデータを効率的に処理することができます。

これらの機能により、データ管理とガバナンスの未来がより明るくなります。

クエリプランナーの革新: 95%のプッシュダウンが可能に

Databricksが開発したクエリプランナーは、PostgresやMySQLなどのさまざまなシステムからデータを引き出し、クエリのほぼ95%をプッシュダウンできるという画期的なものです。これにより、データ分析やデータ処理の効率が大幅に向上し、より高速なデータアクセスが可能になります。

まとめ

今回の講演では、データ管理とガバナンスの未来について説明され、Lakehouse Federationが紹介されました。また、クエリプランナーの革新により、データアクセスの効率が大幅に向上することが示されました。これらの技術により、データ管理とガバナンスの未来が切り開かれ、より効率的なデータ活用が可能になります。今後も、このような技術の進化に注目していきたいと思います。