はじめに エーピーコミュニケーションズGLB事業部Lakehouse部の鄭(ジョン)です。 この記事ではCDC(チェンジデータキャプチャ)について紹介致します。 そして、DatabricksとFivetranのCDC検証を行います。 効率的なパイプライン設計について興味がある方にお…

はじめに エーピーコミュニケーションズGLB事業部Lakehouse部の鄭(ジョン)です。 この記事ではFivetranのAWS Lambdaコネクターを利用して、データをDatabricksに送信する方法を紹介いたします。 今回使ったデータ送信方法は、S3経由方法です。 検証は、以下…

はじめに エーピーコミュニケーションズGLB事業部Lakehouse部の鄭(ジョン)です。 この記事ではFivetranのHashed機能を利用して、データを簡単にマスキングする方法を紹介いたします。 検証は、Fivetranを通じてDatabricksにアップロードされたデータにある特…

はじめに GLB事業部Lakehouse部の鄭(ジョン)です。 この記事ではKXのPyKXを利用し、DatabricksとKXをConnectする方法を紹介いたします。 Databricks上でkdb Insights licenseを使用してKXのプロダクトのkdb+を利用する検証を行います。 kdb+は世界最速の時系…

はじめに GLB事業部Lakehouse部の鄭(ジョン)です。 この記事では前回記事でご紹介しましたKDB.AIのサンプルコード実習をご紹介しようと思います。 KDB.AIは世界最速の時系列データベース及び分析エンジンであるkdb+で駆動されるVectorデータベースで、Endpoi…

はじめに GLB事業部Lakehouse部の鄭(ジョン)です。 この記事では前回記事でご紹介しましたKDB.AIのサンプルコード実習をご紹介しようと思います。 KDB.AIは世界最速の時系列データベース及び分析エンジンであるkdb+で駆動されるVectorデータベースで、Endpoi…

はじめに GLB事業部Lakehouse部の鄭(ジョン)です。 この記事では世界最速の時系列データベース及び分析エンジンであるKDBを保有するグローバル企業KXのKDB.AIを紹介いたします。 順番はKXのプロダクトの概要、KDB.AIの概要、使い方、KDB.AIのサンプルコード…

はじめに GLB事業部Lakehouse部の鄭(ジョン)です。 Databricks Lakehouse Platformが提供するデモであるdbdemosの中で、患者の再入院を減らすための医療予測モデルの構築するデモを紹介したいと思います。 デモ名: Lakehouse for HLS: Patient readmission w…

はじめに GLB事業部Lakehouse部の鄭(ジョン)です。 Databricks Lakehouse Platformが提供するデモであるdbdemosの中で、患者の再入院を減らすための医療予測モデルの構築するデモを紹介したいと思います。 デモ名: Lakehouse for HLS: Patient readmission w…

はじめに GLB事業部Lakehouse部の鄭(ジョン)です。 Databricks Lakehouse Platformが提供するデモであるdbdemosの中で、dbt jobsの調整と実行をするデモを紹介したいと思います。 www.dbdemos.ai 今回の投稿はdbdemosを初めて使う初心者に参考になるガイドを…

はじめに GLB事業部Lakehouse部の鄭(ジョン)です。 Databricks Lakehouse Platformが提供するデモであるdbdemosの中で、dbt jobsの調整と実行をするデモを紹介したいと思います。 www.dbdemos.ai 今回の投稿はdbdemosを初めて使う初心者に参考になるガイドを…