APC 技術ブログ

株式会社エーピーコミュニケーションズの技術ブログです。

株式会社 エーピーコミュニケーションズの技術ブログです。

Building and Managing a Data Platform for a Delta Lake that Exceeds 13 Petabytes and Has Thousands of Users: AT&T's Story(13ペタバイトを超え、数千人のユーザーを持つデルタレイクのデータプラットフォームの構築と管理: AT&Tのストーリー)

はじめに GLB事業部Lakehouse部の阿部です。 現地でのData + AI SUMMIT2023(DAIS)に参加している市村の報告をもとに、セッションの内容をまとめた記事を書きました。 今回は、AT&Tが13ペタバイトを超えるデルタレイクのデータプラットフォームを構築・管理…

【2023年の注目キーワードになるか?】LLMOpsとは

はじめに GLB事業部Lakehouse部の阿部です。 Chat GPTが登場して日本国内の企業でもオープンソースのLLMをリリースしたこともあり、LLM(大規模言語モデル)という言葉は聞く機会が増えました。 最近はLLMOpsという言葉もちらほら聞くようになりましたが、ML…

LangChainのmemoryとDeepL APIを利用してチャットbotを改良した

はじめに GLB事業部Lakehouse部の阿部です。 本記事では、Databricksのデモページのdbdemosを参考にしたチャットボットの改良方法について解説します。 改良方法として、LangChainのmemory機能と翻訳アプリケーションを用いて改良しております。 こちらは改…

dbdemosを使ったDollyによるチャットbotの構築〜Prompt Engineering〜

はじめに GLB事業部Lakehouse部の阿部です。 本記事は、前回のdbdemosを使ったDollyによるチャットbot構築の続きです。 techblog.ap-com.co.jp Dollyを動かすことを通じて、プロンプトエンジニアリングやLLM学習の参考になれば幸いです。 本記事は、dmdemos…

dbdemosを使ったDollyによるチャットbotの構築〜データ準備編〜

はじめに GLB事業部Lakehouse部の阿部です。 Databricks Lakehouse Platformが提供するデモであるdbdemosには、デモごとにサンプルのデータセットやコードが用意されており、ワークスペースにノートブックをインポートして使用できます。 www.dbdemos.ai 本…

大規模言語モデル(LLM)Dollyをパラメーター数を変えて動かしてみた

はじめに GLB事業部Lakehouse部の阿部です。 chat-gptの台頭により大規模言語モデル(LLM)についてよく聞くようになりましたが、Databricksは2023年4月12日にOpenなLLMであるDolly 2.0を発表しました。 今後はDatabricks Lakehouse PlatformにDollyが導入さ…

Databricks-06. [Databricks × dbt] モデルに対するテストについて

はじめに GLB事業部Lakehouse部の阿部です。 本記事では、dbt cloudで作成したモデルのテストについて解説します。 前回の記事では、Partner Connectを使用してDatabricks Lakehouse Platformからdbt Cloudに接続し、Databricksにあるデータをdbt cloud上で…

Databricksに出会って3ヶ月で認定試験に合格しました。

はじめに Databricks Certified Data Engineer Associate (Version 3)に合格しました! credentials.databricks.com GLB事業部Lakehouse部の阿部です。 いつもはDatabricks周りの検証について発信しておりますが、今回は上記試験に合格するまでの勉強・姿勢…

Databricks-05. [Databricks × dbt]Partner Connectでdbtと接続する

はじめに GLB事業部Lakehouse部の阿部です。 本記事では、Partner Connectを使用してDatabricks Lakehouse Platformからdbt Cloudに接続し、Databricksにあるデータをdbt cloud上で変換する流れについて解説します。 ちなみにAPCでは、dbt Labs, Inc. と販売…

Databricks-04. Databricks Feature Storeについて

はじめに 特徴量管理の課題 Feature Storeとは Feature Storeの利点 Databricks Feature Store Feature Table作成までの手順 データの前準備 Delta Tableを作成する Feature Tableを作成する Feature Tableを上書きする タグ付きのFeature Tableを作成する F…

Databricks-03. Deltaテーブルを操作してDelta Lakeを理解する

はじめに Delta Lakeとは? Deltaテーブルの操作 テーブルの作成 レコードの挿入 テーブルの更新 レコードの削除 テーブルとビューを結合してレコードをアップサートする テーブルの削除 Delta Logとは DESCRIBEコマンドによるテーブル情報の取得 Delta Log…

Databricks-02. クラスターの作成からコードの実行まで

はじめに 日本語UIへの変更 クラスターの作成と起動 ノートブックでコードを動かしてみる MAGICコマンドについて 言語MAGICについて %runコマンド %mdコマンド 押さえておきたいショートカットキー ショートカットキーの一例 おわりに はじめに GLB事業部Lak…

Databricks on AWSのセットアップとワークスペースの作成

はじめに この記事で行うこと 1. DataBricksの無料トライアルの申請 2. サインアップとサブスクリプションプランの選択 3. ワークスペースの作成 3-1. 認証設定(Credential configuration) IAMロールの作成 3-2 Storage configuration(ストレージ設定) S3バ…