Ray on Apache Spark™　Part 2 - APC 技術ブログ

はじめに

GLB事業部Global Engineering部ヨハンです。現地でのData + AI SUMMIT2023（DAIS）に参加している儀保の報告をもとに、セッションの内容をまとめた記事を書きました。

今回は、最近開催された講演「Ray on Apache Spark™」についてお伝えします。この講演では、Jeremy氏が登壇し、オープンソースの統一分散フレームワークであるRaidについて紹介しました。講演のテーマと目的は、AIやPythonアプリケーションのスケーリングを簡素化し、分散システムの専門知識がなくても誰でもアクセスできるようにすることです。想定するターゲット視聴者は、データ&AIに興味がある技術者や、分散システムの専門知識がないが、AIやPythonアプリケーションのスケーリングに興味がある人、オープンソースの分散フレームワークに興味がある人です。このブログは全2部構成で、本記事は第2部にあたります。第1部では、Rayがオープンソースの統一分散フレームワークであることや、Pythonアプリケーションのスケーリングを簡素化すること、分散システムの専門知識がなくても誰でもアクセスできるようにすることを紹介しました。今回の第2部では、Raid on Databricksの実行方法や、Ray on Apache Spark™の応用例について解説します。

Raid on Databricksの実行方法

Raid on Databricksを利用することで、AIやPythonアプリケーションのスケーリングを簡素化し、分散システムの専門知識がなくても誰でもアクセスできるようになります。以下では、Raid on Databricksの実行方法について詳しく解説します。

1. Raidの初期化と起動が成功したことの確認

まずはじめに、RaidをDatabricks上で実行する方法について説明します。以下の手順でRaidを初期化し、起動することができます。

Databricksのワークスペースにアクセスし、新しいノートブックを作成します。
ノートブックの言語としてPythonを選択し、Raidをインポートします。
Raidの初期化を行い、起動します。

この手順を踏むことで、Raidが正常に起動し、分散処理が可能になります。また、起動が成功したことを確認するために、Raidのステータスを表示することができます。

2. Raidダッシュボードについての説明と、リソースの微調整が可能であること

次に、Raidダッシュボードについて説明します。Raidダッシュボードは、Raidの実行状況やリソースの使用状況を確認することができるツールです。以下の機能が提供されています。

ジョブの実行状況の確認
リソースの使用状況の確認
エラーや警告の表示

また、Raidダッシュボードを使用することで、リソースの微調整が可能であることも紹介されました。例えば、以下のような調整が行えます。

ジョブの優先度の変更
リソースの割り当ての変更
ジョブの一時停止や再開

これらの機能を利用することで、Raidを効率的に運用し、AIやPythonアプリケーションのスケーリングを簡素化することができます。

まとめ

Raid on Databricksを利用することで、AIやPythonアプリケーションのスケーリングを簡素化し、分散システムの専門知識がなくても誰でもアクセスできるようになります。Raidの初期化と起動が成功したことを確認し、Raidダッシュボードを活用してリソースの微調整を行うことができます。これにより、効率的な分散処理が実現され、AIやPythonアプリケーションの開発が加速されることでしょう。次回の記事では、Ray on Apache Spark™の応用例について解説します。モンテカルロシミュレーションや機械学習モデルのハイパーパラメータチューニングなど、さまざまな分野でRayがどのように活用できるのか、お楽しみに！