はじめに
GLB事業部Lakehouse部の阿部です。 現地でのData + AI SUMMIT2023（DAIS）に参加している儀保の報告をもとに、セッションの内容をまとめた記事を書きました。
DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 こちらも見ていただけると幸いです。
https://www.ap-com.co.jp/data_ai_summit-2023/
それでは本題に入ります！
Rivianのデータ活用とDatabricks Lakehouseの導入
今回は、Databricksを使用してセキュアなLakehouseを効果的に自動化する方法についての講演を取り上げます。Been RivianのエンジニアであるVadivel SelvarajとマネージャーのJason Shiverickが講演しました。
データエンジニア、データアーキテクト、データサイエンティスト、ビジネスリーダーを対象としています。
車両データの収集と活用
Rivianは、32,000台の車両から1日あたりテラバイト級のデータを収集しています。このデータは、以下のような目的で活用されています。
- 製品設計の改善
- フリートの健康状態の監視
- 顧客体験の向上
これらのデータ活用により、Rivianはビジネスの効率化や競争力の向上を図っています。
Databricks Lakehouseによるデータ統合
Rivianは、Databricks Lakehouseを使用してデータを集約し、Delta Lakeに統合しています。これにより、アーキテクチャの複雑さを減らし、データの管理や分析が容易になっています。
Databricks Lakehouseは、以下のような特徴を持っています。
- データウェアハウスとデータレイクの機能を組み合わせたアーキテクチャ
- 高速なデータ処理と分析が可能
- セキュリティやデータガバナンスが強化されている
Terraformを用いたリソースプロビジョニングの自動化
本講演では、Databricksを使用してセキュアなLakehouseを効果的に自動化する方法が紹介されました。その中で、Terraformを用いたリソースプロビジョニングの自動化が取り上げられました。
Terraformは、以下のような特徴を持っています。
- インフラストラクチャをコードで管理することができる
- 複数のクラウドプロバイダーに対応している
- リソースの作成や更新、削除を自動化できる
Terraformを用いることで、Databricks Lakehouseのリソースプロビジョニングを効率的に行うことができます。これにより、データ活用の促進やビジネスの成長を支援できます。
まとめ
Rivianは、膨大な車両データをDatabricks Lakehouseを用いて効果的に活用しています。また、Terraformを用いたリソースプロビジョニングの自動化により、データ活用の促進やビジネスの成長を支援しています。今後も、データ活用の最適化や新たな技術の導入が期待されます。
おわりに
現地でのDAISに参加しているメンバーからの報告をもとに、セッションの内容を解説しました。DAIS期間中では、セッションに関する記事を以下の特設サイトに順次上げていきますので、見ていただけると幸いです。
引き続きどうぞよろしくお願いします！
