はじめに GLB事業部 Lakehouse部の阿部です。 先日、こちらのイベントでDatabricksの活用方法をテーマに発表しました。 findy.connpass.com 本記事では、イベントで発表したVisual Studio Code（VSCode）におけるDatabricksの開発方法をご紹介します。 はじ…

はじめに GLB事業部Lakehouse部の阿部です。 先日、Databricksの認定資格であるData Engineer Professionalに合格しました。 credentials.databricks.com 本記事では、試験の概要と試験対策についてAssociateとの比較も含めて述べております。 Data Engineer…

はじめに GLB事業部Lakehouse部の阿部です。 Databricks Advent Calendar 2023の15日目の記事です。 TerraformでDatabricksワークスペースのデプロイ、管理にフォーカスして記事を書きました。 前編・後編に分かれており、本記事は後編でリソース管理につい…

はじめに GLB事業部Lakehouse部の阿部です。 エーピーコミュニケーションズAdvent Calendar 2023の15日目の投稿です。 前編・後編に分けて、TerraformでDatabricksワークスペースをデプロイ・管理する方法について解説します。 前編では、ワークスペースをデ…

はじめに GLB事業部Lakehouse部の阿部です。 今年のData + AI SUMMITで発表されたLakehouse Federation（レイクハウスフェデレーション）をさわってみました。 https://learn.microsoft.com/ja-jp/azure/databricks/query-federation/postgresql 注意 記事執…

はじめに GLB事業部Lakehouse部の阿部です。 今回は、FivetranとRDSをAWS PrivateLinkを使って接続し、DestinationのDatabricksワークスペースにincremental sync（差分更新）する方法を解説します。 Fivetranとは、クラウドベースのELT（Extract, Load, Tra…

はじめに GLB事業部Lakehouse部の阿部です。 本記事では、KDB.AIによる頭部MRI画像との類似画像を検索する方法を紹介します。 KDB.AIは、KX systemsが提供するナレッジベースのベクトルデータベースと検索エンジンです。ベクトルデータベースは膨大な量のテ…

はじめに 本記事の結論 GitHub Copilotとは VscodeでDatabricksを使うための準備 GitHub Copilotでdatabricksを動かしてみる SQL クエリーを使う準備 SQL クエリーを実行する おわりに はじめに GLB事業部Lakehouse部の阿部です。 コメントからコードをサジ…

はじめに GLB事業部Lakehouse部の阿部です。現地でのData + AI SUMMIT2023（DAIS）に参加した市村の報告をもとに、セッションの内容をまとめた記事を書きました。 今回は、Delta Live Tablesを使用したメタデータ駆動のデータパイプラインの構築方法について…

はじめに GLB事業部Lakehouse部の阿部です。バーチャルで参加したData + AI SUMMIT2023（DAIS）のセッションの内容をまとめた記事を書きました。 Databricks SQL Serverlessの講演「Databricks SQL Serverless Under the Hood: How We Use ML to Get the Bes…

はじめに GLB事業部Lakehouse部の阿部です。現地でのData + AI SUMMIT2023（DAIS）に参加した市村の報告をもとに、セッションの内容をまとめた記事を書きました。 今回は、エネルギー企業Petronas社がデータAIソリューションを活用してビジネスのパフォーマ…

はじめに GLB事業部Lakehouse部の阿部です。現地でのData + AI SUMMIT2023（DAIS）に参加した市村の報告をもとに、セッションの内容をまとめた記事を書きました。 こんにちは！今回は、エネルギー企業Betunasが取り組むデータとAIソリューションを活用したビ…

はじめに GLB事業部Lakehouse部の阿部です。現地でのData + AI SUMMIT2023（DAIS）に参加した永里の報告をもとに、セッションの内容をまとめた記事を書きました。 今回は、講演「Anomalo | Data Archaeology: How to Quickly Understand an (Unfamiliar) Dat…

はじめに GLB事業部Lakehouse部の阿部です。現地でのData + AI SUMMIT2023（DAIS）に参加している市村の報告をもとに、セッションの内容をまとめた記事を書きました。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 こちらも見てい…

はじめに GLB事業部Lakehouse部の阿部です。現地でのData + AI SUMMIT2023（DAIS）に参加している儀保の報告をもとに、セッションの内容をまとめた記事を書きました。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 こちらも見てい…

はじめに GLB事業部Lakehouse部の阿部です。現地でのData + AI SUMMIT2023（DAIS）に参加している永江の報告をもとに、セッションの内容をまとめた記事を書きました。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 こちらも見てい…

はじめに GLB事業部Lakehouse部の阿部です。現地でのData + AI SUMMIT2023（DAIS）に参加している金丸の報告をもとに、セッションの内容をまとめた記事を書きました。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 こちらも見てい…

はじめに GLB事業部Lakehouse部の阿部です。 Data + AI SUMMIT2023（DAIS）にバーチャルで参加したセッションの内容をまとめた記事を書きました。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 こちらも見ていただけると幸いです…

はじめに GLB事業部Lakehouse部の阿部です。 現地でのData + AI SUMMIT2023（DAIS）に参加している儀保の報告をもとに、セッションの内容をまとめた記事を書きました。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 こちらも見て…

はじめに GLB事業部Lakehouse部の阿部です。 現地でのData + AI SUMMIT2023（DAIS）に参加している永里の報告をもとに、セッションの内容をまとめた記事を書きました。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 こちらも見て…

はじめに GLB事業部Lakehouse部の阿部です。 現地でのData + AI SUMMIT2023（DAIS）に参加している儀保の報告をもとに、セッションの内容をまとめた記事を書きました。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 こちらも見て…

はじめに GLB事業部Lakehouse部の阿部です。 現地でのData + AI SUMMIT2023（DAIS）に参加している金丸の報告をもとに、セッションの内容をまとめた記事を書きました。 今回は、JetBlueのリアルタイムAIとMLデジタルツインの取り組みについてお話します。こ…

はじめに GLB事業部Lakehouse部の阿部です。 現地でのData + AI SUMMIT2023（DAIS）に参加している金丸の報告をもとに、セッションの内容をまとめた記事を書きました。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 https://www.a…

はじめに GLB事業部Lakehouse部の阿部です。 現地でのData + AI SUMMIT2023（DAIS）に参加している永江の報告をもとに、セッションの内容をまとめた記事を書きました。 本記事は全2部構成で、今回は第2部をお届けします。 以下、第1部の記事です。 techblog.…

はじめに GLB事業部Lakehouse部の阿部です。 現地でのData + AI SUMMIT2023（DAIS）に参加している永江の報告をもとに、セッションの内容をまとめた記事を書きました。 今回は、"How Comcast Effectv Drives Data Observability with Databricks and Monte C…

はじめに GLB事業部Lakehouse部の阿部です。 現地でのData + AI SUMMIT2023（DAIS）に参加している市村の報告をもとに、セッションの内容をまとめた記事を書きました。 今回は、"Using Lakehouse to Fight Cancer: Ontada’s Journey to Establish a RWD Plat…

はじめに GLB事業部Lakehouse部の阿部です。 現地でのData + AI SUMMIT2023（DAIS）に参加している市村の報告をもとに、セッションの内容をまとめた記事を書きました。 今回は、AT&Tが13ペタバイトを超えるデルタレイクのデータプラットフォームを構築・管理…

はじめに GLB事業部Lakehouse部の阿部です。 Chat GPTが登場して日本国内の企業でもオープンソースのLLMをリリースしたこともあり、LLM（大規模言語モデル）という言葉は聞く機会が増えました。 最近はLLMOpsという言葉もちらほら聞くようになりましたが、ML…

はじめに GLB事業部Lakehouse部の阿部です。 本記事では、Databricksのデモページのdbdemosを参考にしたチャットボットの改良方法について解説します。 改良方法として、LangChainのmemory機能と翻訳アプリケーションを用いて改良しております。 こちらは改…

はじめに GLB事業部Lakehouse部の阿部です。 本記事は、前回のdbdemosを使ったDollyによるチャットbot構築の続きです。 techblog.ap-com.co.jp Dollyを動かすことを通じて、プロンプトエンジニアリングやLLM学習の参考になれば幸いです。 本記事は、dmdemos…