Databricks
はじめに GLB事業部Lakehouse部の阿部です。 今年のData + AI SUMMITで発表されたLakehouse Federation（レイクハウスフェデレーション）をさわってみました。 https://learn.microsoft.com/ja-jp/azure/databricks/query-federation/postgresql 注意 記事執…
はじめに GLB事業部Lakehouse部の阿部です。 今回は、FivetranとRDSをAWS PrivateLinkを使って接続し、DestinationのDatabricksワークスペースにincremental sync（差分更新）する方法を解説します。 Fivetranとは、クラウドベースのELT（Extract, Load, Tra…
はじめに GLB事業部 Lakehouse 部のメイです。 KX Systems は時系列データベース kdb+ を活用して、KDB.AI を2023年9月に公開しました。 KDB.AI は、強力な知識ベースのベクトル データベースおよび検索エンジンであり、リアルタイム データを使用して AI ア…
はじめに GLB事業部Lakehouse部の鄭(ジョン)です。 この記事では前回記事でご紹介しましたKDB.AIのサンプルコード実習をご紹介しようと思います。 KDB.AIは世界最速の時系列データベース及び分析エンジンであるkdb+で駆動されるVectorデータベースで、Endpoi…
はじめに こんにちは、GLB事業部Lakehouse部の陳（チェン）です。 Lakehouse部では、Databricksプラットフォーム上でKDB.AIを利用した検証を行っています。 弊社の鄭（ジョン）の記事で、KDB.AIの紹介や利用開始の登録法が紹介されています。 ご興味のある方…
はじめに GLB事業部 Lakehouse 部のメイです。 KX Systems は時系列データベース kdb+ を活用して、KDB.AI を2023年9月に公開しました。 KDB.AI は、強力な知識ベースのベクトル データベースおよび検索エンジンであり、リアルタイム データを使用して AI ア…
はじめに GLB事業部Lakehouse部の鄭(ジョン)です。 この記事では前回記事でご紹介しましたKDB.AIのサンプルコード実習をご紹介しようと思います。 KDB.AIは世界最速の時系列データベース及び分析エンジンであるkdb+で駆動されるVectorデータベースで、Endpoi…
はじめに GLB事業部Lakehouse部の鄭(ジョン)です。 Databricks Lakehouse Platformが提供するデモであるdbdemosの中で、患者の再入院を減らすための医療予測モデルの構築するデモを紹介したいと思います。 デモ名: Lakehouse for HLS: Patient readmission w…
はじめに GLB事業部Lakehouse部の陳（チェン）です。 本日はDatabricks社より公開されたEnglish SDK for Apache Spark（以下English SDK）を利用し、気象情報を可視化することを試してみました。 本記事では、DatabricksのMarketplaceからのデータ取得から、…
はじめに 本記事の結論 GitHub Copilotとは VscodeでDatabricksを使うための準備 GitHub Copilotでdatabricksを動かしてみる SQL クエリーを使う準備 SQL クエリーを実行する おわりに はじめに GLB事業部Lakehouse部の阿部です。 コメントからコードをサジ…
はじめに GLB事業部Lakehouse部の鄭(ジョン)です。 Databricks Lakehouse Platformが提供するデモであるdbdemosの中で、患者の再入院を減らすための医療予測モデルの構築するデモを紹介したいと思います。 デモ名: Lakehouse for HLS: Patient readmission w…
はじめに GLB事業部Lakehouse部の鄭(ジョン)です。 Databricks Lakehouse Platformが提供するデモであるdbdemosの中で、dbt jobsの調整と実行をするデモを紹介したいと思います。 www.dbdemos.ai 今回の投稿はdbdemosを初めて使う初心者に参考になるガイドを…
はじめに GLB事業部Lakehouse部の鄭(ジョン)です。 Databricks Lakehouse Platformが提供するデモであるdbdemosの中で、dbt jobsの調整と実行をするデモを紹介したいと思います。 www.dbdemos.ai 今回の投稿はdbdemosを初めて使う初心者に参考になるガイドを…
Unity Catalogへのアップグレード：データとAIのガバナンスを強化する新たなステップ GLB事業部Global Engineering部 ヨハンです。 こんにちは、皆さん。今回は、データとAIのガバナンスを強化するための重要なツール、Unity Catalogについてお話ししま…
Unity Catalogの活用：データとAIのガバナンスへの新たなアプローチ GLB事業部Global Engineering部 ヨハンです。 こんにちは、皆さん。今回は、データとAIのガバナンスについての興味深い講演を取り上げます。そのタイトルは「A Technical Deep Dive in…
Unity Catalog: データとAIのガバナンスを一元化する新たなツール GLB事業部Global Engineering部 ヨハンです。 今回は、データとAIのガバナンスについての興味深い講演を取材してきました。その講演のタイトルは「A Technical Deep Dive into Unity Cata…
SnowflakeからDatabricksへのデータウェアハウス移行計画とその実行 GLB事業部Global Engineering部 ヨハンです。 今日は、データウェアハウスのマイグレーションについてお話しします。特に、SnowflakeからDatabricksへの移行について詳しく解説します…
SnowflakeからDatabricksへのデータウェアハウス移行計画と実行：その全貌とは？ GLB事業部Global Engineering部 ヨハンです。 今回は、データウェアハウスのマイグレーション、つまりSnowflakeからDatabricksへの移行について語りたいと思います。この…
はじめに GLB事業部Global Engineering部 ヨハンです。 今回は、Project Aqueductに関する講演の情報をお届けします。この講演では、DeltaカーネルとDeltaプロトコルを使用したコネクタの構築の簡素化について説明されました。講演のテーマと目的は、複…
はじめに GLB事業部Global Engineering部 ヨハンです。 今回は、エンタープライズスケールでDatabricks SQLを活用するためのベストプラクティスについて紹介した講演を視聴しました。この講演では、データウェアハウスの設定において、Databricks SQLを…
Databricksノートブックでプロのように開発するための新機能とその使い方 GLB事業部Global Engineering部 ヨハンです。 今回は、データ&AIの世界で話題のDatabricksノートブックについて、その新機能と使い方をご紹介します。この記事は全2部構成の第2部…
はじめに GLB事業部Global Engineering部 ヨハンです。 今回は、"Develop Like a Pro in Databricks Notebooks"という講演を取材しました。この講演は、Databricksノートブックを使用してプロのように開発する方法を紹介するもので、発表者はノートブック…
はじめに GLB事業部Global Engineering部 ヨハンです。 今回は、データメッシュとDelta Sharingについての講演「Delta Sharing: The Key Data Mesh Enabler」を取り上げます。講演者は、AvanadeのデータエンジニアリングディレクターであるFrancesco Piz…
はじめに GLB事業部Global Engineering部 ヨハンです。 今回は、データメッシュのエンエーブラーについて解説する講演「Delta Sharing: The Key Data Mesh Enabler」を取り上げます。この講演では、データメッシュの主要なエンエーブラーであるDelta Sha…
Power BIとDatabricksがもたらすデータイノベーション GLB事業部Global Engineering部 ヨハンです。 今回は、Microsoftの講演「Next-Level Analytics with Power BI and Databricks」について、わかりやすく解説していきたいと思います。この講演では、P…
AIの実用的な限界と潜在的な利点 - Data + AI Summit Keynote Day 2 GLB事業部Global Engineering部 ヨハンです。 Data + AI Summit Keynote Day 2のレポートをお届けします。今回は、AIの実用的な限界と潜在的な利点についての話題が盛りだくさんです。前…
データとAIの民主化に向けた取り組みと技術革新 - Data + AI Summit Keynote Day 2 GLB事業部Global Engineering部 ヨハンです。 今回は、Data + AI Summit Keynote Day 2の講演についてお話ししたいと思います。この講演では、データとAIの民主化に向け…
AIの将来と進化について議論されたData + AI Summit Keynote Day 2 GLB事業部Global Engineering部 ヨハンです。 今回は、Data + AI Summit Keynote Day 2の講演についてお話ししたいと思います。この講演では、AIの将来と進化について話し合い、AIの価値…
はじめに GLB事業部Lakehouse部のメイです。 現地でのData + AI SUMMIT2023（DAIS）に参加しているメンバーの報告をもとに、データ収集プロセスの改善ついての「The Hitchhiker's Guide to Delta Lake Streaming」を共有します。このセッションでは、シニア…
はじめに GLB事業部Lakehouse部のメイです。 現地でのData + AI SUMMIT2023（DAIS）に参加しているメンバーの報告をもとに、 データ管理とガバナンスの未来についての「The Future of Data Management and Governance」を共有します。 このセッションでは、L…
