APC 技術ブログ

株式会社エーピーコミュニケーションズの技術ブログです。

株式会社 エーピーコミュニケーションズの技術ブログです。

DatabricksのUnity Catalogによって管理されるデータをDelta Sharingで共有してみる

はじめに GLB事業部 Lakehouse 部のメイです。 この記事では Databricks の Unity Catalogで管理されるデータを Delta Sharingで共有する方法を紹介致します。 デルタテーブル内である全体のデータまたはチェンジデータフィード (Change Data Feed) を REST …

入門KDB.AI (7) - サンプルコード(Sentiment Analysis)

はじめに GLB事業部 Lakehouse 部のメイです。 KX Systems は時系列データベース kdb+ を活用して、KDB.AI を2023年9月に公開しました。 KDB.AI は、強力な知識ベースのベクトル データベースおよび検索エンジンであり、リアルタイム データを使用して AI ア…

入門KDB.AI (3) - サンプルコード(Pattern Matching on Sensor Data)

はじめに GLB事業部 Lakehouse 部のメイです。 KX Systems は時系列データベース kdb+ を活用して、KDB.AI を2023年9月に公開しました。 KDB.AI は、強力な知識ベースのベクトル データベースおよび検索エンジンであり、リアルタイム データを使用して AI ア…

The Hitchhiker's Guide to Delta Lake Streaming(Delta Lakeストリーミングについてのヒッチハイカーズガイド)

はじめに GLB事業部Lakehouse部のメイです。 現地でのData + AI SUMMIT2023(DAIS)に参加しているメンバーの報告をもとに、データ収集プロセスの改善ついての「The Hitchhiker's Guide to Delta Lake Streaming」を共有します。このセッションでは、シニア…

The Future of Data Management and Governance(データ管理とガバナンスの未来)

はじめに GLB事業部Lakehouse部のメイです。 現地でのData + AI SUMMIT2023(DAIS)に参加しているメンバーの報告をもとに、 データ管理とガバナンスの未来についての「The Future of Data Management and Governance」を共有します。 このセッションでは、L…

Embracing the Future of Data Engineering: The Serverless, Real-Time Lakehouse in Action(サーバーレスとストリーミングデータを活用したデータエンジニアリングの未来)

はじめに GLB事業部Lakehouse部のメイです。 現地でのData + AI SUMMIT2023(DAIS)に参加しているメンバーの報告をもとに、データエンジニアリングの未来を切り開くサーバーレス技術とストリーミングデータについての「Embracing the Future of Data Engine…

Unlock the Next Evolution of the Modern Data Stack With the Lakehouse Revolution(レイクハウス革命で最新のデータスタックの次の進化のロックを解除する)

はじめに GLB事業部Lakehouse部のメイです。 現地でのData + AI SUMMIT2023(DAIS)に参加しているメンバーの報告をもとに、 「Unlock the Next Evolution of the Modern Data Stack With the Lakehouse Revolution」を共有します。 このセッションは、Datab…

Data Biases and Generative AI: A Practitioner Discussion(データバイアスと生成AIについて学ぶ)

はじめに GLB事業部Lakehouse部のメイです。 現地でのData + AI SUMMIT2023(DAIS)に参加しているメンバーの報告をもとに、データバイアスと生成AIに関する「Data Biases and Generative AI: A Practitioner Discussion」を共有します。このセッションでは…

The Best Data Warehouse is a Lakehouse: How Databricks Achieves Operational Efficiency With the Lakehouse Architecture(最適なデータ ウェアハウスはレイクハウス:Databricks が Lakehouse アーキテクチャで運用効率を達成する方法)

はじめに GLB事業部Lakehouse部のメイです。 現地でのData + AI SUMMIT2023(DAIS)に参加しているメンバーの報告をもとに、データウェアハウスとデータレイクを組み合わせた新しいアーキテクチャ、「レイクハウス」についての「The Best Data Warehouse is …

Databricks Marketplace: Going Beyond Data and Applications(Databricks Marketplace: データとアプリケーションを超えて)

はじめに GLB事業部Lakehouse部のメイです。 現地でのData + AI SUMMIT2023(DAIS)に参加しているメンバーの報告をもとに、Databricks Marketplaceについての 「Databricks Marketplace: Going Beyond Data and Applications」を共有します。このセッション…

How the Texas Rangers Revolutionized Baseball Analytics with a Modern Data Lakehouse(テキサス・レンジャーズが最新のデータレイクハウスで野球分析に革命を起こした方法)

はじめに GLB事業部Lakehouse部のメイです。 現地でのData + AI SUMMIT2023(DAIS)に参加しているメンバーの報告をもとに、「How the Texas Rangers Revolutionized Baseball Analytics with a Modern Data Lakehouse」を共有します。 このセッションでは、…

LLMOps: Everything You Need to Know to Manage LLMs(LLMOps: LLM を管理するために知っておくべきことすべて)

はじめに GLB事業部Lakehouse部のメイです。 現地でのData + AI SUMMIT2023(DAIS)に参加しているメンバーの報告をもとに、 「LLMOps: Everything You Need to Know to Manage LLMs」を共有します。このセッションでは、DatabricksのProduct ManagerであるE…

Data Application Bundles: A Standard, Unified Approach to Deploying Data Products on Databricks(Databricks にデータ製品をデプロイするための標準的で統一されたアプローチ)

はじめに GLB事業部Lakehouse部のメイです。 現地でのData + AI SUMMIT2023(DAIS)に参加しているメンバーの報告をもとに、「Data Application Bundles: A Standard, Unified Approach to Deploying Data Products on Databricks」 を共有します。 このセッ…

Unlocking the Value of Data Sharing in Financial Services with Lakehouse(Lakehouse で金融サービスにおけるデータ共有の価値を引き出す)

はじめに GLB事業部Lakehouse部のメイです。 現地でのData + AI SUMMIT2023(DAIS)に参加しているメンバーの報告をもとに、金融サービス業界におけるデータ共有の価値を最大化するLakehouseの活用についての「Unlocking the Value of Data Sharing in Finan…

Jet Streaming Data and Predictive Analytics(ジェット ストリーミング データと予測分析)

はじめに GLB事業部Lakehouse部のメイです。 現地でのData + AI SUMMIT2023(DAIS)に参加しているメンバーの報告をもとに、航空業界におけるデータ活用の最前線に迫ることについての「Jet Streaming Data and Predictive Analytics: How the Lakehouse and …

Labelbox | Unlocking Enterprise AI with Your Proprietary Data and Foundation Models (Labelbox | 独自データと基盤モデルでエンタープライズ AI を活用する)

はじめに GLB事業部Lakehouse部のメイです。 現地でのData + AI SUMMIT2023(DAIS)に参加しているメンバーの報告をもとに、AIとコンピューティングの指数関数的な進歩と基礎モデルの登場について「Labelbox | Unlocking Enterprise AI with Your Proprietar…

Extending Lakehouse Architecture with Collaborative Identity (協調的なアイデンティティによるレイクハウス アーキテクチャの拡張)

はじめに GLB事業部Lakehouse部のメイです。 現地でのData + AI SUMMIT2023(DAIS)に参加しているメンバーの報告をもとに、 協調的なアイデンティティによるレイクハウス アーキテクチャの拡張「Extending Lakehouse Architecture with Collaborative Ident…

Introduction to Data Engineering on the Lakehouse (Lakehouse でのデータ エンジニアリングの紹介)

はじめに GLB事業部Lakehouse部のメイです。 現地でのData + AI SUMMIT2023(DAIS)に参加しているメンバーの報告をもとに、データエンジニアリングとAIの統合によってデータ駆動型企業を実現する方法についての 「Introduction to Data Engineering on the …

データメッシュアーキテクチャ(Data Mesh Architecture) とは

1.はじめに GLB事業部Lakehouse部のメイです。 Data + AI Summit 2023に向け弊社では以下の関連ブログを掲載させていただきました。 「Data + AI Summit 2023特設サイトについて」 「デジタルツイン(Digital Twin)」 「【2023年の注目キーワードになるか?】…

入門Azure DatabricksとPowerBIを連携させ、Warehouseデータを読み込む

1.はじめに GLB事業部Lakehouse部のメイです。PowerBIをAzure Databricksと連携させてデータを読み込む手順を共有します。 2. 目次 1.はじめに 2. 目次 3. 前提条件 4. Azure DatabricksとPowerBIの連携 4-1. Connectorで接続 4-2. Navigatorで接続 5. おわ…