はじめに
GLB事業部Lakehouse部の阿部です。 現地でのData + AI SUMMIT2023（DAIS）に参加している市村の報告をもとに、セッションの内容をまとめた記事を書きました。
今回は、AT&Tが13ペタバイトを超えるデルタレイクのデータプラットフォームを構築・管理する方法について、そのビジネス上のメリットやクラウド移行における課題を紹介する講演「Building and Managing a Data Platform for a Delta Lake that Exceeds 13 Petabytes and Has Thousands of Users: AT&T's Story」を取り上げます。講演の発表者は、AT&TのChief Data OfficeのTechnology DirectorであるPraveen Vemulapalli氏と、AT&T CDOのリードビッグデータエンジニアであるJegadeesan Pugazhenthi（JP）氏です。
それでは、早速講演の内容を見ていきましょう！
クラウド移行の背景と選択
クラウドへの移行を決定
AT&Tは、13ペタバイトを超えるデルタレイクのデータプラットフォームを構築・管理するために、クラウドへの移行を決定しました。これには、コスト効率、ワークロード管理、セキュリティの懸念が含まれていましたが、それらを克服することで、ビジネス上のメリットを享受できると判断しました。
データAIのワークロードのクラウドプロバイダーとしてMicrosoftを選択
AT&Tは、データとAIのワークロードに対応するクラウドプロバイダーとして、Microsoftを選択しました。これにより、AT&Tはデルタレイクのデータプラットフォームを効率的に構築・管理できるようになりました。
クラウド移行の課題と解決策
課題1: データの移行
データの移行は、クラウド移行の大きな課題の1つです。とくに、13ペタバイトを超えるデータ量を移行する場合、時間とコストがかかることが予想されます。
解決策
AT&Tは、データ移行の効率化を図るために、以下のような方法を採用しました。
- データの分類: 重要度やアクセス頻度に応じてデータを分類し、優先度を決定することで、効率的な移行が可能になります。
- データの圧縮: データを圧縮することで、移行にかかる時間とコストを削減できます。
- 並列処理: データの移行を並列化することで、効率的にデータを移行できます。
課題2: セキュリティ
クラウド移行において、セキュリティは重要な課題です。とくに、データの保護やプライバシーに関する法規制が厳しくなっているため、適切な対策が求められます。
解決策
AT&Tは、セキュリティ対策として、以下のような方法を採用しました。
- データの暗号化: データを暗号化することで不正アクセスから保護し、プライバシー規制へのコンプライアンスを確保できる
- アクセス制御： 厳格なアクセス・コントロール・ポリシーを導入することで、機密データへの不正アクセスを防ぐことができる。
- 定期的なセキュリティ監査： 定期的なセキュリティ監査を実施することで、システムの潜在的な脆弱性を特定し、対処できる。
結論として、13ペタバイトを超えるデルタレイクのデータプラットフォームを構築・管理するAT&Tのストーリーは、クラウド移行における課題と解決策を示しています。これらの課題を克服することで、企業はクラウドベースのデータプラットフォームのメリットを享受し、各業界のイノベーションを推進できると思います。
おわりに
現地でのDAISに参加しているメンバーからの報告をもとに、セッションの内容を解説しました。 DAIS期間中では、セッションに関する記事を以下の特設サイトに順次上げていきますので、見ていただけると幸いです。
引き続きどうぞよろしくお願いします！
