はじめに GLB事業部Lakehouse部の阿部です。 Databricks Lakehouse Platformが提供するデモであるdbdemosには、デモごとにサンプルのデータセットやコードが用意されており、ワークスペースにノートブックをインポートして使用できます。 www.dbdemos.ai 本…

はじめに GLB事業部Lakehouse部の阿部です。 chat-gptの台頭により大規模言語モデル（LLM）についてよく聞くようになりましたが、Databricksは2023年4月12日にOpenなLLMであるDolly 2.0を発表しました。 今後はDatabricks Lakehouse PlatformにDollyが導入さ…

はじめに GLB事業部Lakehouse部の阿部です。 本記事では、dbt cloudで作成したモデルのテストについて解説します。 前回の記事では、Partner Connectを使用してDatabricks Lakehouse Platformからdbt Cloudに接続し、Databricksにあるデータをdbt cloud上で…

はじめに Databricks Certified Data Engineer Associate (Version 3)に合格しました！ credentials.databricks.com GLB事業部Lakehouse部の阿部です。 いつもはDatabricks周りの検証について発信しておりますが、今回は上記試験に合格するまでの勉強・姿勢…

はじめに GLB事業部Lakehouse部の阿部です。 本記事では、Partner Connectを使用してDatabricks Lakehouse Platformからdbt Cloudに接続し、Databricksにあるデータをdbt cloud上で変換する流れについて解説します。 ちなみにAPCでは、dbt Labs, Inc. と販売…

はじめに 特徴量管理の課題 Feature Storeとは Feature Storeの利点 Databricks Feature Store Feature Table作成までの手順 データの前準備 Delta Tableを作成する Feature Tableを作成する Feature Tableを上書きする タグ付きのFeature Tableを作成する F…

はじめに Delta Lakeとは？ Deltaテーブルの操作 テーブルの作成 レコードの挿入 テーブルの更新 レコードの削除 テーブルとビューを結合してレコードをアップサートする テーブルの削除 Delta Logとは DESCRIBEコマンドによるテーブル情報の取得 Delta Log…

はじめに 日本語UIへの変更 クラスターの作成と起動 ノートブックでコードを動かしてみる MAGICコマンドについて 言語MAGICについて %runコマンド %mdコマンド 押さえておきたいショートカットキー ショートカットキーの一例 おわりに はじめに GLB事業部Lak…

はじめに この記事で行うこと 1. DataBricksの無料トライアルの申請 2. サインアップとサブスクリプションプランの選択 3. ワークスペースの作成 3-1. 認証設定(Credential configuration) IAMロールの作成 3-2 Storage configuration(ストレージ設定) S3バ…