はじめに GLB事業部Lakehouse部の阿部です。 先日、Databricks Certified Machine Learning Associateに合格しました! credentials.databricks.com 本記事では、試験の概要と試験対策について解説します。 Machine Learningに入門したい方、DatabricksのMach…
はじめに GLB事業部Lakehouse部の阿部です。Databricksが主催するDATA + AI SUMMIT 2024(DAIS)に参加しました。DAISが終わってから1週間経ちましたが、興奮が収まっていません。本記事では、DAISを含むおよそ1週間の出張をダイジェストでお伝えしたいと思い…
はじめに GLB事業部Lakehouse部の阿部です。 Databricks社が主催するDATA + AI SUMMIT（DAIS）が今年も開催されます！ Databricksは去年の秋ごろに、レイクハウスプラットフォームというシステムからData Intelligence Platformという新世代のシステムを発表…
はじめに GLB事業部Lakehouse部の阿部です。 Databricks社が主催するDATA + AI SUMMIT（DAIS）が今年も開催されます！ www.databricks.com 6/10〜13日にサンフランシスコで開催され、開催まで約1か月となりました。 今年も特設サイトにて現地レポートやセッ…
はじめに GLB事業部 Lakehouse部の阿部です。 先日、こちらのイベントでDatabricksの活用方法をテーマに発表しました。 findy.connpass.com 本記事では、イベントで発表したVisual Studio Code（VSCode）におけるDatabricksの開発方法をご紹介します。 はじ…
はじめに GLB事業部Lakehouse部の阿部です。 先日、Databricksの認定資格であるData Engineer Professionalに合格しました。 credentials.databricks.com 本記事では、試験の概要と試験対策についてAssociateとの比較も含めて述べております。 Data Engineer…
はじめに GLB事業部Lakehouse部の阿部です。 Databricks Advent Calendar 2023の15日目の記事です。 TerraformでDatabricksワークスペースのデプロイ、管理にフォーカスして記事を書きました。 前編・後編に分かれており、本記事は後編でリソース管理につい…
はじめに GLB事業部Lakehouse部の阿部です。 エーピーコミュニケーションズAdvent Calendar 2023の15日目の投稿です。 前編・後編に分けて、TerraformでDatabricksワークスペースをデプロイ・管理する方法について解説します。 前編では、ワークスペースをデ…
はじめに GLB事業部Lakehouse部の阿部です。 今年のData + AI SUMMITで発表されたLakehouse Federation（レイクハウスフェデレーション）をさわってみました。 https://learn.microsoft.com/ja-jp/azure/databricks/query-federation/postgresql 注意 記事執…
はじめに GLB事業部Lakehouse部の阿部です。 今回は、FivetranとRDSをAWS PrivateLinkを使って接続し、DestinationのDatabricksワークスペースにincremental sync（差分更新）する方法を解説します。 Fivetranとは、クラウドベースのELT（Extract, Load, Tra…
はじめに GLB事業部Lakehouse部の阿部です。 本記事では、KDB.AIによる頭部MRI画像との類似画像を検索する方法を紹介します。 KDB.AIは、KX systemsが提供するナレッジベースのベクトルデータベースと検索エンジンです。ベクトルデータベースは膨大な量のテ…
はじめに 本記事の結論 GitHub Copilotとは VscodeでDatabricksを使うための準備 GitHub Copilotでdatabricksを動かしてみる SQL クエリーを使う準備 SQL クエリーを実行する おわりに はじめに GLB事業部Lakehouse部の阿部です。 コメントからコードをサジ…
はじめに GLB事業部Lakehouse部の阿部です。現地でのData + AI SUMMIT2023（DAIS）に参加した市村の報告をもとに、セッションの内容をまとめた記事を書きました。 今回は、Delta Live Tablesを使用したメタデータ駆動のデータパイプラインの構築方法について…
はじめに GLB事業部Lakehouse部の阿部です。バーチャルで参加したData + AI SUMMIT2023（DAIS）のセッションの内容をまとめた記事を書きました。 Databricks SQL Serverlessの講演「Databricks SQL Serverless Under the Hood: How We Use ML to Get the Bes…
はじめに GLB事業部Lakehouse部の阿部です。現地でのData + AI SUMMIT2023（DAIS）に参加した市村の報告をもとに、セッションの内容をまとめた記事を書きました。 今回は、エネルギー企業Petronas社がデータAIソリューションを活用してビジネスのパフォーマ…
はじめに GLB事業部Lakehouse部の阿部です。現地でのData + AI SUMMIT2023（DAIS）に参加した市村の報告をもとに、セッションの内容をまとめた記事を書きました。 こんにちは！今回は、エネルギー企業Betunasが取り組むデータとAIソリューションを活用したビ…
はじめに GLB事業部Lakehouse部の阿部です。現地でのData + AI SUMMIT2023（DAIS）に参加した永里の報告をもとに、セッションの内容をまとめた記事を書きました。 今回は、講演「Anomalo | Data Archaeology: How to Quickly Understand an (Unfamiliar) Dat…
はじめに GLB事業部Lakehouse部の阿部です。現地でのData + AI SUMMIT2023（DAIS）に参加している市村の報告をもとに、セッションの内容をまとめた記事を書きました。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 こちらも見てい…
はじめに GLB事業部Lakehouse部の阿部です。現地でのData + AI SUMMIT2023（DAIS）に参加している儀保の報告をもとに、セッションの内容をまとめた記事を書きました。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 こちらも見てい…
はじめに GLB事業部Lakehouse部の阿部です。現地でのData + AI SUMMIT2023（DAIS）に参加している永江の報告をもとに、セッションの内容をまとめた記事を書きました。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 こちらも見てい…
はじめに GLB事業部Lakehouse部の阿部です。現地でのData + AI SUMMIT2023（DAIS）に参加している金丸の報告をもとに、セッションの内容をまとめた記事を書きました。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 こちらも見てい…
はじめに GLB事業部Lakehouse部の阿部です。 Data + AI SUMMIT2023（DAIS）にバーチャルで参加したセッションの内容をまとめた記事を書きました。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 こちらも見ていただけると幸いです…
はじめに GLB事業部Lakehouse部の阿部です。 現地でのData + AI SUMMIT2023（DAIS）に参加している儀保の報告をもとに、セッションの内容をまとめた記事を書きました。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 こちらも見て…
はじめに GLB事業部Lakehouse部の阿部です。 現地でのData + AI SUMMIT2023（DAIS）に参加している永里の報告をもとに、セッションの内容をまとめた記事を書きました。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 こちらも見て…
はじめに GLB事業部Lakehouse部の阿部です。 現地でのData + AI SUMMIT2023（DAIS）に参加している儀保の報告をもとに、セッションの内容をまとめた記事を書きました。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 こちらも見て…
はじめに GLB事業部Lakehouse部の阿部です。 現地でのData + AI SUMMIT2023（DAIS）に参加している金丸の報告をもとに、セッションの内容をまとめた記事を書きました。 今回は、JetBlueのリアルタイムAIとMLデジタルツインの取り組みについてお話します。こ…
はじめに GLB事業部Lakehouse部の阿部です。 現地でのData + AI SUMMIT2023（DAIS）に参加している金丸の報告をもとに、セッションの内容をまとめた記事を書きました。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 https://www.a…
はじめに GLB事業部Lakehouse部の阿部です。 現地でのData + AI SUMMIT2023（DAIS）に参加している永江の報告をもとに、セッションの内容をまとめた記事を書きました。 本記事は全2部構成で、今回は第2部をお届けします。 以下、第1部の記事です。 techblog.…
はじめに GLB事業部Lakehouse部の阿部です。 現地でのData + AI SUMMIT2023（DAIS）に参加している永江の報告をもとに、セッションの内容をまとめた記事を書きました。 今回は、"How Comcast Effectv Drives Data Observability with Databricks and Monte C…
はじめに GLB事業部Lakehouse部の阿部です。 現地でのData + AI SUMMIT2023（DAIS）に参加している市村の報告をもとに、セッションの内容をまとめた記事を書きました。 今回は、"Using Lakehouse to Fight Cancer: Ontada’s Journey to Establish a RWD Plat…
