APC 技術ブログ

株式会社エーピーコミュニケーションズの技術ブログです。

株式会社 エーピーコミュニケーションズの技術ブログです。

Scaling Marketing and Docs with a Privacy-Safe RAG Model(プライバシー・セーフのRAGモデルでマーケティングとドキュメントの規模を拡大する)

プライバシーセーフなRAGモデルを用いたコンテンツ作成のスケール化:新たな可能性 プライバシーとセキュリティの強化:カスタムソリューションによるアプローチ 世界のプライバシー規制を渡り歩く カスタムソリューションの必要性 VerbiGPTのセキュアなコン…

Introducing the Databricks AI Security Framework (DASF) to Manage AI Security Risks(Databricks AIセキュリティフレームワーク(DASF)の紹介とAIセキュリティリスクの管理)

イントロダクションとフレームワークの概要 このセッションでは、AIとデータセキュリティのギャップを埋めるために設計された重要なイノベーションであるDatabricks AIセキュリティフレームワーク(DASF)を紹介しました。その目的は、セキュリティの風景で…

How to Create a Holistic Customer View to Drive Performance and Revenue(パフォーマンスと収益を向上させるための包括的な顧客ビューの作成方法)

イントロダクションと概要 スピーカーとCondéについて 'Graphite'の開発の概要 データプラットフォームの構築 私たちは誰? コンデとは? Graphiteの紹介 グラファイトの目的と課題 データ製品の定義 データ製品のユーザー中心の設計 データから行動可能な洞…

The C-Level Guide to Data Strategy Success with 3Ps - People Process and Platform - in a GenAI World(GenAIの世界でデータ戦略を成功させるためのCレベルガイド - People Process and Platform - 3Ps)

AIシステムの統合と生産の課題の克服 スケーラビリティ、モニタリング、パフォーマンス評価 スケーラビリティの問題 大幅な改善を伴う新バージョンの導入 パフォーマンスの最適化 チームの成果に対する誇り 結論 このセクションでは、Generative AIにおける…

How to Migrate from Snowflake to an Open Data Lakehouse Using Delta Lake UniForm(Delta Lake UniFormを使用してSnowflakeからオープンデータレイクハウスへの移行方法)

導入とケーススタディ概要 Delta Lake UniForm 課題とアーキテクチャの進化 Wayne Enterprise:シナリオと直面した課題 移行シナリオ 現行アーキテクチャ 現行アーキテクチャの問題点 解決策の探求 複数のオープンデータフォーマットに対応 Unity Catalog に…

Leveraging GenAI to Accelerate Innovation(GenAIを活用してイノベーションを加速する)

イントロダクションと戦略的概覽 初期の課題と解決策 セッションの概要 セクションのテーマ:GenAIの実装と反復的な開発 音声データの分析 非構造化データの構造化 データ集約 結論 イントロダクションと戦略的概覽 皆さん、こんにちは。本日はマンカインド…

An In Depth Look at the New Features of Apache Spark 3.5(Apache Spark 3.5の新機能についての詳細な調査)

Apache Sparkの導入と遺産 Spark Connectの向上 Spark Connectとは何か? Spark Connectの重要性は? 強化されたSpark Connectの利点 多相解析の重要性 実装の洞察 開発の利点 Apache Spark 3.5におけるストリーミングの改善と将来の展望 結論 Apache Spark…

Databricks Streaming Project Lightspeed Goes Hyperspeed(Databricksのストリーミング・プロジェクトLightspeedがハイパースピードに)

リアルタイムデータ処理の紹介 皆さん、こんにちは。私は最近、50 Cent Mediaのデータリードで、製品マネージャーであり、開発マネージャーでもあるGordon Benderによる興奮したセッション"Databricks Streaming – Project Lightspeed Goes Hyperspeed"に参…

Building a Production Scale, Totally Private, OSS RAG Pipeline with DBRX, Spark, and LanceDB(DBRX、Spark、LanceDBによる、プロダクション・スケール、完全プライベートなOSS RAGパイプラインの構築)

導入と初期の利点 実用的なデモンストレーションとプライバシーの問題 プロダクションスケールのAIパイプラインでのベンダーロックインの回避とデータの移植性を確保する方法 DBRX、Spark、および LanceDBを使用した完全プライベートな公開規模のOSS RAGパイ…

What's New with Data Sharing and Collaboration(データ共有とコラボレーションの最新情報)

伝統的なデータ共有の制約を克服する 伝統的なデータ共有の課題 オープンな協調プラットフォームの導入:Databricks Databricksによる協調的なデータ共有 Databricksマーケットプレイスの拡大 Databricksマーケットプレイスにおける成長とイノベーション Dat…

What’s New in Unity Catalog—with Live Demos(Unity Catalogの最新情報 - ライブデモ付き)

Unity Catalog: 歴史と主な特徴の追跡 Unityカタログにおける新たなガバナンス機能とオブジェクトタイプ 改善されたガバナンス機能と進化したオブジェクトタイプ Unity CatalogとHive Metastore Federationによる効率的なデータ移行 Hive Metastoreとの統合 …

A Practical Introduction to Machine Learning with Databricks Mosaic AI(Databricks Mosaic AIによる機械学習実践入門)

歴史的データクエリの活用 モデルのパフォーマンスとビジネス成果の向上 セキュリティとガバナンスの向上 モデルトレーニングとデプロイメント:実用的アプローチ モデルトレーニングプロセス ステップ 1: モデル構築 ステップ 2: 実験とトレーニング MLOps…

Efficient MLOps: Developing and Deploying ML Models with Databricks(効率的なMLOps:DatabricksによるMLモデルの開発と展開)

はじめにと背景 MLOpsの導入とソリューション 標準とCI/CDの実装 MLOpsの使用におけるデモンストレーションと向上点 デモンストレーションの概要 技術的な改善点 実用的な応用 レビューと将来の方向性 MLOpsを実装する重要性 Databricksの役割 将来の展望 は…

Rise of the Medallion Mesh( メダリオン・メッシュの台頭)

セッション概要 セクションテーマ: 初期の課題と現代化の必要性 現代のデータアーキテクチャの構築について考える データウェアハウス:運用上の課題と解決策 ステージングエリアの障害 強固なデータアーキテクチャの策定 データセキュリティとガバナンス デ…

Data + AI Summit Keynote, Wednesday( データ+AIサミット基調講演、水曜日)

データ+AI サミット: オープニングハイライトと業界の貢献 AI導入の課題と解決策 データ管理とAI統合の革新 自動車業界におけるAI駆動の変革 データとAIの融合:多様な業界へのAI活用 データ+AI サミット: オープニングハイライトと業界の貢献 データ+AI サ…

Migrating and Optimizing Large-Scale Streaming Applications with Databricks(Databricksによる大規模ストリーミングアプリケーションの移行と最適化)

FreewheelとBizWaxの紹介 Beeswaxデータプラットフォームアーキテクチャ Databricksへの移行に関する詳細な説明 パフォーマンス最適化テクニック 1. Spark StreamingとKinesis Stream 2. DataStreamWriterの設定 3. ForEachBatchメソッドの利用 DataFrame AP…

Implementing the Lakehouse, from BI to AI(レイクハウスの導入、BIからAIへ)

統合アーキテクチャへの進化 標準化とガバナンス:ABN Amroのデータアーキテクチャ戦略 中央集権的な管理とデータ共有 コンプライアンスとオーケストレーション 統合アーキテクチャへの進化 当初、ABN Amroのデータチームは、ドメイン固有のデータアプリケー…

Scaling RAG and Embedding Computations with Ray and Pinecone(RayとPineconeによるRAGと埋め込み計算のスケーリング)

イントロダクション セクション:埋め込み計算とLLMの幻覚 AnyScaleのAIプラットフォームと「Read Data」ライブラリに焦点を当てる 1. 分散レイヤーとしてのRAGの呼び出し 2. AnyScaleライブラリの統合 3. 「Read Data」ライブラリの活用 RAGと非RAG実装の比…

Creating a Data and GenAI Ecosystem: Migrating to Databricks(データとGenAIエコシステムの構築、Databricksへの移行)

導入とアジェンダの概要 本日は「データとGenAIエコシステムの構築、Databricksへの移行」というタイトルのセッションにご参加いただき、ありがとうございます。このプレゼンテーションでは、今日の変革的な技術環境で成功するために不可欠な堅牢なデータとA…

Udemy’s Data and AI Journey  Migrating from a Managed Big Data Platform to Databricks(UdemyのデータとAIの旅:管理されたビッドデータプラットフォームからDatabricksへの移行)

レガシーシステムに関する課題についての洞察 1. 古いシステムからの移行 2. クラスターの問題と影響 3. 古いアプリケーションとノイジーネイバーシンドローム 評価と意思決定プロセス コストに関する懸念 Airflowに関する懸念 UdemyのDatabricksへの移行戦…

Enhancing Audit Efficiency at Hapag-Lloyd Through the Use of Generative AI(Hapag-Lloydでの監査効率を向上させるための生成AIの活用)

イントロダクションとスピーカーの概要 皆さん、こんにちは。私はDatabricksのプロダクトスペシャリスト、Michael Schermerです。今日は、Hapag-Lloydでの監査プロセスを強化するための生成AIの変革的な応用について探求します。私はHapag-Lloydのコーポレー…

SEA-LION: Representing the Linguistic Diversity of Southeast Asia through LLM(SEA-LION: 東南アジアの多様な言語をLLMで表現する)

SEA-LION: 東南アジアの多様な言語をLLMで表現する 本日、AIシンガポールが主催する「SEA-LION: 東南アジアの多様な言語をLLMで表現する」というセッションが開催され、DatabricksのEGとEJを含む講演者が、大規模言語モデル(LLM)を使用して東南アジアの広…

Vector Search・Vectorインデックスの作成と、ドキュメント内の類似検索

はじめに このブログで使用したノートブック 前提条件 ノートブックの概要 検証結果 類似検索 おわりに はじめに GLB事業部Lakehouse部の佐藤です。 この記事では、DatabricksでのVectorインデックスの作り方と、Vectorインデックスを使っての類似検索につい…

Databricks モデルサービングにエンベディングモデルをセットアップする

はじめに このブログで使用したノートブック 前提条件 ノートブックの概要 検証結果(前半) 検証結果(後半) おわりに はじめに GLB事業部Lakehouse部の佐藤です。 この記事では、Databricks モデルサービングへのモデルのセットアップ方法についてご紹介…

入門編:Tabelau DesktopをAzure Databricksに接続する

はじめに 前提条件 接続手順 ODBCドライバーをインストールする アクセストークンを発行する Tableau Desktopを接続するSQLウェアハウスでサーバーのホスト名・HTTPパスを確認する Tableau DesktopからDatabricksに接続し、資格情報等を入力する 参考資料:D…