APC 技術ブログ

株式会社エーピーコミュニケーションズの技術ブログです。

株式会社 エーピーコミュニケーションズの技術ブログです。

Part2: Data + AI Summit 2024のご紹介

はじめに GLB事業部Lakehouse部の阿部です。 Databricks社が主催するDATA + AI SUMMIT(DAIS)が今年も開催されます! www.databricks.com 6/10〜13日にサンフランシスコで開催され、開催まで約1か月となりました。 今年も特設サイトにて現地レポートやセッ…

【Databricks活用方法LT】VSCodeでのDatabricks開発もお勧めしたい

はじめに GLB事業部 Lakehouse部の阿部です。 先日、こちらのイベントでDatabricksの活用方法をテーマに発表しました。 findy.connpass.com 本記事では、イベントで発表したVisual Studio Code(VSCode)におけるDatabricksの開発方法をご紹介します。 はじ…

私がDatabricks Data Engineer Professionalに合格した方法

はじめに GLB事業部Lakehouse部の阿部です。 先日、Databricksの認定資格であるData Engineer Professionalに合格しました。 credentials.databricks.com 本記事では、試験の概要と試験対策についてAssociateとの比較も含めて述べております。 Data Engineer…

【IaC】TerraformでAzure Databricksワークスペースのリソースを管理する

はじめに GLB事業部Lakehouse部の阿部です。 Databricks Advent Calendar 2023の15日目の記事です。 TerraformでDatabricksワークスペースのデプロイ、管理にフォーカスして記事を書きました。 前編・後編に分かれており、本記事は後編でリソース管理につい…

【IaC】TerraformでAzure Databricksのワークスペースをデプロイ

はじめに GLB事業部Lakehouse部の阿部です。 エーピーコミュニケーションズAdvent Calendar 2023の15日目の投稿です。 前編・後編に分けて、TerraformでDatabricksワークスペースをデプロイ・管理する方法について解説します。 前編では、ワークスペースをデ…

レイクハウスフェデレーションによるpostgreSQLとの連携

はじめに GLB事業部Lakehouse部の阿部です。 今年のData + AI SUMMITで発表されたLakehouse Federation(レイクハウスフェデレーション)をさわってみました。 https://learn.microsoft.com/ja-jp/azure/databricks/query-federation/postgresql 注意 記事執…

RDSとFivetranをPrivateLink接続し、Databricksにincremental syncする

はじめに GLB事業部Lakehouse部の阿部です。 今回は、FivetranとRDSをAWS PrivateLinkを使って接続し、DestinationのDatabricksワークスペースにincremental sync(差分更新)する方法を解説します。 Fivetranとは、クラウドベースのELT(Extract, Load, Tra…

入門KDB.AI (6) - サンプルコード(Image Search)

はじめに GLB事業部Lakehouse部の阿部です。 本記事では、KDB.AIによる頭部MRI画像との類似画像を検索する方法を紹介します。 KDB.AIは、KX systemsが提供するナレッジベースのベクトルデータベースと検索エンジンです。ベクトルデータベースは膨大な量のテ…

Copilotを活用したDatabricksの開発がはかどりそう。

はじめに 本記事の結論 GitHub Copilotとは VscodeでDatabricksを使うための準備 GitHub Copilotでdatabricksを動かしてみる SQL クエリーを使う準備 SQL クエリーを実行する おわりに はじめに GLB事業部Lakehouse部の阿部です。 コメントからコードをサジ…

How to Build a Metadata Driven Data Pipelines with Delta Live Tables(Delta Live Tablesでメタデータ主導のデータパイプラインを構築する方法)

はじめに GLB事業部Lakehouse部の阿部です。現地でのData + AI SUMMIT2023(DAIS)に参加した市村の報告をもとに、セッションの内容をまとめた記事を書きました。 今回は、Delta Live Tablesを使用したメタデータ駆動のデータパイプラインの構築方法について…

Databricks SQL Serverless Under the Hood: How We Use ML to Get the Best Price/Performance(Databricks SQLサーバーレスの裏側:最高の価格/パフォーマンスを得るためのML活用法)

はじめに GLB事業部Lakehouse部の阿部です。バーチャルで参加したData + AI SUMMIT2023(DAIS)のセッションの内容をまとめた記事を書きました。 Databricks SQL Serverlessの講演「Databricks SQL Serverless Under the Hood: How We Use ML to Get the Bes…

Experience the New Era of Data & AI: Taking Bold Steps(データAIの新時代を体験する:大胆な一歩を踏み出す)-02

はじめに GLB事業部Lakehouse部の阿部です。現地でのData + AI SUMMIT2023(DAIS)に参加した市村の報告をもとに、セッションの内容をまとめた記事を書きました。 今回は、エネルギー企業Petronas社がデータAIソリューションを活用してビジネスのパフォーマ…

Experience the New Era of Data & AI: Taking Bold Steps(データAIの新時代を体験する:大胆な一歩を踏み出す)-01

はじめに GLB事業部Lakehouse部の阿部です。現地でのData + AI SUMMIT2023(DAIS)に参加した市村の報告をもとに、セッションの内容をまとめた記事を書きました。 こんにちは!今回は、エネルギー企業Betunasが取り組むデータとAIソリューションを活用したビ…

Anomalo | Data Archaeology: How to Quickly Understand an (Unfamiliar) Dataset Using Machine Learning(Anomalo|データ考古学:機械学習を使って(見慣れない)データセットを素早く理解する方法)

はじめに GLB事業部Lakehouse部の阿部です。現地でのData + AI SUMMIT2023(DAIS)に参加した永里の報告をもとに、セッションの内容をまとめた記事を書きました。 今回は、講演「Anomalo | Data Archaeology: How to Quickly Understand an (Unfamiliar) Dat…

Lakehouses: The Best Start to Your Graph Data and Analytics Journey(レイクハウス:グラフデータとアナリティクスの旅への最良のスタート)

はじめに GLB事業部Lakehouse部の阿部です。現地でのData + AI SUMMIT2023(DAIS)に参加している市村の報告をもとに、セッションの内容をまとめた記事を書きました。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 こちらも見てい…

Streaming Schema Drift Discovery and Controlled Mitigation(ストリーミング・スキーマ・ドリフトの発見と制御された緩和)

はじめに GLB事業部Lakehouse部の阿部です。現地でのData + AI SUMMIT2023(DAIS)に参加している儀保の報告をもとに、セッションの内容をまとめた記事を書きました。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 こちらも見てい…

Why a Major Japanese Financial Institution Chose Databricks to Accelerate its Data and AI-Driven Journey(日本の大手金融機関がデータとAI主導の旅を加速するためにDatabricksを選んだ理由)

はじめに GLB事業部Lakehouse部の阿部です。現地でのData + AI SUMMIT2023(DAIS)に参加している永江の報告をもとに、セッションの内容をまとめた記事を書きました。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 こちらも見てい…

Making Travel More Accessible for Customers Bringing Mobility Devices(モビリティデバイスをお持ちのお客様にも旅をより身近に)

はじめに GLB事業部Lakehouse部の阿部です。現地でのData + AI SUMMIT2023(DAIS)に参加している金丸の報告をもとに、セッションの内容をまとめた記事を書きました。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 こちらも見てい…

Maximizing Value From Your Data with Lakehouse AI(Lakehouse AIでデータから価値を最大化する)

はじめに GLB事業部Lakehouse部の阿部です。 Data + AI SUMMIT2023(DAIS)にバーチャルで参加したセッションの内容をまとめた記事を書きました。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 こちらも見ていただけると幸いです…

Real-Time Streaming Solution for a Call Center Analytics: Business Challenges and Technical Enablement(コールセンター分析のためのリアルタイムストリーミングソリューション: ビジネス課題と技術的イネーブルメント)

はじめに GLB事業部Lakehouse部の阿部です。 現地でのData + AI SUMMIT2023(DAIS)に参加している儀保の報告をもとに、セッションの内容をまとめた記事を書きました。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 こちらも見て…

What it Takes to Democratize AI and ML in a Large Company: The Importance of User Enablement and Technical Training(大企業におけるAIとMLの民主化に必要なこと: ユーザーイネーブルメントと技術トレーニングの重要性)

はじめに GLB事業部Lakehouse部の阿部です。 現地でのData + AI SUMMIT2023(DAIS)に参加している永里の報告をもとに、セッションの内容をまとめた記事を書きました。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 こちらも見て…

Databricks As Code: How to Effectively Automate a Secure Lakehouse Using Terraform for Resource Provisioning(コードとしてのDatabricks: リソースのプロビジョニングにTerraformを使ってセキュアなレイクハウスを効果的に自動化する方法)

はじめに GLB事業部Lakehouse部の阿部です。 現地でのData + AI SUMMIT2023(DAIS)に参加している儀保の報告をもとに、セッションの内容をまとめた記事を書きました。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 こちらも見て…

JetBlue’s Real-Time AI & ML Digital Twin Journey Using Databricks(Databricksを活用したJetBlueのリアルタイムAI&MLデジタル・ツイン・ジャーニー)

はじめに GLB事業部Lakehouse部の阿部です。 現地でのData + AI SUMMIT2023(DAIS)に参加している金丸の報告をもとに、セッションの内容をまとめた記事を書きました。 今回は、JetBlueのリアルタイムAIとMLデジタルツインの取り組みについてお話します。こ…

Build Your Data Lakehouse with a Modern Data Stack on Databricks(Databricksにおけるモダンデータスタックでデータレイクハウスを構築する)

はじめに GLB事業部Lakehouse部の阿部です。 現地でのData + AI SUMMIT2023(DAIS)に参加している金丸の報告をもとに、セッションの内容をまとめた記事を書きました。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 https://www.a…

How Comcast Effectv Drives Data Observability with Databricks and Monte Carlo-02(Comcast Effectvがデータブリックスとモンテカルロでデータ可観測性を推進する方法-02)

はじめに GLB事業部Lakehouse部の阿部です。 現地でのData + AI SUMMIT2023(DAIS)に参加している永江の報告をもとに、セッションの内容をまとめた記事を書きました。 本記事は全2部構成で、今回は第2部をお届けします。 以下、第1部の記事です。 techblog.…

How Comcast Effectv Drives Data Observability with Databricks and Monte Carlo-01(Comcast Effectvがデータブリックスとモンテカルロでデータ可観測性を推進する方法-01)

はじめに GLB事業部Lakehouse部の阿部です。 現地でのData + AI SUMMIT2023(DAIS)に参加している永江の報告をもとに、セッションの内容をまとめた記事を書きました。 今回は、"How Comcast Effectv Drives Data Observability with Databricks and Monte C…

Using Lakehouse to Fight Cancer: Ontada’s Journey to Establish a RWD Platform on Databricks Lakehouse(がんと闘うためにLakehouseを使う: Databricks LakehouseにRWDプラットフォームを確立するオンタダの旅)

はじめに GLB事業部Lakehouse部の阿部です。 現地でのData + AI SUMMIT2023(DAIS)に参加している市村の報告をもとに、セッションの内容をまとめた記事を書きました。 今回は、"Using Lakehouse to Fight Cancer: Ontada’s Journey to Establish a RWD Plat…

Building and Managing a Data Platform for a Delta Lake that Exceeds 13 Petabytes and Has Thousands of Users: AT&T's Story(13ペタバイトを超え、数千人のユーザーを持つデルタレイクのデータプラットフォームの構築と管理: AT&Tのストーリー)

はじめに GLB事業部Lakehouse部の阿部です。 現地でのData + AI SUMMIT2023(DAIS)に参加している市村の報告をもとに、セッションの内容をまとめた記事を書きました。 今回は、AT&Tが13ペタバイトを超えるデルタレイクのデータプラットフォームを構築・管理…

【2023年の注目キーワードになるか?】LLMOpsとは

はじめに GLB事業部Lakehouse部の阿部です。 Chat GPTが登場して日本国内の企業でもオープンソースのLLMをリリースしたこともあり、LLM(大規模言語モデル)という言葉は聞く機会が増えました。 最近はLLMOpsという言葉もちらほら聞くようになりましたが、ML…

LangChainのmemoryとDeepL APIを利用してチャットbotを改良した

はじめに GLB事業部Lakehouse部の阿部です。 本記事では、Databricksのデモページのdbdemosを参考にしたチャットボットの改良方法について解説します。 改良方法として、LangChainのmemory機能と翻訳アプリケーションを用いて改良しております。 こちらは改…