APC 技術ブログ

株式会社エーピーコミュニケーションズの技術ブログです。

株式会社 エーピーコミュニケーションズの技術ブログです。

DAIS2024

The C-Level Guide to Data Strategy Success with 3Ps - People Process and Platform - in a GenAI World

Preface In this section, we focused on the decisive roles of machine learning and data curation in Generative AI. A hands-on introduction to machine learning using Databricks' Mosaic AI was shared by the speaker, Craig. Passionate about AI…

Efficient MLOps: Developing and Deploying ML Models with Databricks

Preface Welcome to the world of MLOps. In this session, we kick off the discussion with insights and challenges faced while implementing an effective MLOps framework, joined by product owners Lavinia Guadaniolo and Alessandro from Plenitud…

Leveraging GenAI to Accelerate Innovation(GenAIを活用してイノベーションを加速する)

イントロダクションと戦略的概覽 初期の課題と解決策 セッションの概要 セクションのテーマ:GenAIの実装と反復的な開発 音声データの分析 非構造化データの構造化 データ集約 結論 イントロダクションと戦略的概覽 皆さん、こんにちは。本日はマンカインド…

An In Depth Look at the New Features of Apache Spark 3.5(Apache Spark 3.5の新機能についての詳細な調査)

Apache Sparkの導入と遺産 Spark Connectの向上 Spark Connectとは何か? Spark Connectの重要性は? 強化されたSpark Connectの利点 多相解析の重要性 実装の洞察 開発の利点 Apache Spark 3.5におけるストリーミングの改善と将来の展望 結論 Apache Spark…

Building Your First GenAI App using Databricks, MosiacML and MLRun

Preface Welcome to the world filled with insights of building GenAI applications. Led by Aaron, the co-founder of Iguago which was acquired by McKinsey, and Bruce Philp, a tech fellow at McKinsey & Company, this session explores the concep…

Scaling Marketing and Docs with a Privacy-Safe RAG Model

Preface In the digital age, one of the principal challenges a business faces is managing an increasing amount of unstructured data. Analysing activities such as internal documents, meeting notes, recorded calls, and transcriptions can be e…

Mitigating LLM Hallucination Risk Through Research Backed Metrics

Preface In the realm of LLMs, mitigating the risk of hallucination and ensuring the accuracy of outputs is fundamental. This section details the inherent challenges during the human evaluation phase of model development and deployment. Und…

LLMs in Production: Fine-Tuning, Scaling, and Evaluation

Preface In the highly competitive market of today, businesses increasingly rely on Large Language Models (LLMs) to enhance various aspects of their operations. This session focuses on fine-tuning LLMs to meet specific business needs and ap…

Rapid LLM Prototyping with OpenAI, Databricks, and Streamlit

Preface In the session on rapid LLM prototyping utilizing technologies such as OpenAI, Databricks, and Streamlit, participants gained insights into how Gjensidige, Norway's largest insurance company, operates and builds strategic collabora…

Building High-Quality and Trusted Data Products with Databricks

Preface Building data products necessitates safety and reliability. Databricks provides a pathway to the creation of high-quality data products that adhere to these standards. In this session, two domain experts, Karthik, and Pomerit, will…

Simplify GenAI App Development with Secure, Custom AI Agents

Preface In the session titled "Introduction to AI Agent Workflows and Tools," strategies for streamlining the development of generative AI applications were showcased. The speakers, Atriti from Mosaic AI and Bilal, a Product Manager from A…

What's New with Data Sharing and Collaboration

Preface In the inaugural segment of this "Latest in Data Sharing and Collaboration” session, we delve into the complexities of data sharing and how AI-powered and Databricks is revolutionizing this field. Preface The Ideal Environment for …

Building High-Quality and Trusted Data Products with Databricks (Databricksを活用した高品質で信頼性の高いデータ製品の構築)

セッションの要約 本セッションでは、Databricksを活用したデータ製品の構築とその主要概念について説明されました。エキスパートのKarthikとPomeritがデータアーキテクチャ、セキュリティ、ガバナンスに関する洞察を共有し、信頼性の高いデータ製品の重要性…

Databricks Streaming Project Lightspeed Goes Hyperspeed(Databricksのストリーミング・プロジェクトLightspeedがハイパースピードに)

リアルタイムデータ処理の紹介 皆さん、こんにちは。私は最近、50 Cent Mediaのデータリードで、製品マネージャーであり、開発マネージャーでもあるGordon Benderによる興奮したセッション"Databricks Streaming – Project Lightspeed Goes Hyperspeed"に参…

How McDonalds Uses ML to Optimize Restaurant Site Selection(マクドナルドがMLを活用して出店地選定を最適化する方法)

マクドナルドがグローバルなプレゼンスを拡大するために積極的に推進する中で、同社は先進的な機械学習技術を、新たな店舗の候補地の効果的な選定に活用しています。このセグメントでは、数学モデルや精巧なデータ処理がいかにしてこれらの重要な決定を洗練…

Data + AI Summit Keynote, Thursday (Data + AIサミット基調講演、木曜日)

セッションの要約 本セッションは、小型言語モデル(SLN)のエコフレンドリーなアプローチについて説明し、Databricksのデータプラットフォームの最新進展を探ります。イェジン教授は、GPT-2モデルの再評価とSLNの価値を強調しました。また、Delta LakeとUni…

Accelerating Operational Excellence with Generative AI(ジェネレーティブAIにより加速するオペレーショナル・エクセレンス)

金融・保険業界において、顧客サービスが迅速かつ正確な対応を求められる中、当社はRetrieval Augmented Generation(RAG)システムを導入しました。このAI駆動ソリューションは、ディープラーニング技術を使用して、膨大な非構造化データから文脈に応じた回…

Building a Production Scale, Totally Private, OSS RAG Pipeline with DBRX, Spark, and LanceDB

Preface In this session, the CEO of NCD, a data-centered organization, spoke extensively about his experiences in developing tools for data science and AI projects. The discussion was centered around their process of building the wholly pr…

Building a Production Scale, Totally Private, OSS RAG Pipeline with DBRX, Spark, and LanceDB(DBRX、Spark、LanceDBによる、プロダクション・スケール、完全プライベートなOSS RAGパイプラインの構築)

導入と初期の利点 実用的なデモンストレーションとプライバシーの問題 プロダクションスケールのAIパイプラインでのベンダーロックインの回避とデータの移植性を確保する方法 DBRX、Spark、および LanceDBを使用した完全プライベートな公開規模のOSS RAGパイ…

How to Train or Fine-Tune a Custom LLM on Your Data with Databricks

Preface In this session, we will explore strategic timing and motivations for training a custom LLM. Leveraging Databricks, which is designed to efficiently and easily handle large-scale data and complex computational tasks, significantly …

Prompt Engineering is Dead: Build LLM Applications with DSPy Framework (プロンプトエンジニアリングは死んだ。 DSPy フレームワークを使用して LLM アプリケーションを構築する)

はじめに -本日のトピック「プロンプトエンジニアリングは終わった; DSPyフレームワークを使ってLLMアプリケーションを構築する」について話す機会をいただき、光栄です。このプレゼンテーションでは、プロンプトエンジニアリングの分野における重要なシフト…

Data Platform Modernization with a Data Mesh Architecture (データメッシュアーキテクチャを用いたデータプラットフォームの近代化)

セッションの要約 ラテンアメリカ最大の民間銀行Bradescoは、データメッシュアーキテクチャを採用してデータプラットフォームの近代化を進めています。セッションでは、プロダクション準備段階での技術的な課題とコミュニティ協力の重要性が強調されました。…

What's New with Data Sharing and Collaboration(データ共有とコラボレーションの最新情報)

伝統的なデータ共有の制約を克服する 伝統的なデータ共有の課題 オープンな協調プラットフォームの導入:Databricks Databricksによる協調的なデータ共有 Databricksマーケットプレイスの拡大 Databricksマーケットプレイスにおける成長とイノベーション Dat…

Unlock Data and AI Potential with a Fully Orchestrated Health Lakehouse(完全にオーケストレーションされた Health Lakehouse でデータと AI の可能性を解き放つ)

はじめに 本日のセッション「完全にオーケストレーションされたヘルスレイクハウスでデータとAIの可能性を解き放つ」へようこそ。ここでは、Doral Health and WellnessとPercept Healthの協力について探求します。このパートナーシップは、データとAIの力を…

Path to Production: Databricks Project CICD for Seamless Inner to Outer Dev Loops (本番環境への道:CICDによるシームレスな内部から外部の開発ループのためのDatabricksプロジェクト)

セッションの要約 本セッションは、Databricksアセットバンドルを使用したプロジェクト構築に焦点を当て、プロダクション準備段階での課題とコミュニティ協力の重要性を強調します。特にグローバルデータ統合(GDI)システムの実装が最大8ヶ月かかる複雑さを…

Data Modeling Made Simple: A Non-Technical Beginner’s Guide

Preface Data modeling, a technical approach to representing complex business data in a visually comprehensible form, serves not only as a means for businesses to better understand their data landscape but also as a bridge for communication…

DATA+AI Summit2024(DAIS2024)に関する投稿まとめ(現地時間2024年6月13日分)

はじめに エーピーコミュニケーションズでは現地参加メンバーと日本から視聴するメンバーで連携しDATA+AI SUMMIT2024に関するポータルサイトを展開し、イベントに関する情報をお届けしています。是非ともこちらの特設サイトのチェックもよろしくお願いいたし…

What’s New in Unity Catalog—with Live Demos

Preface Dive into the forefront of data and AI governance advancements with the product team of Unity Catalog. Unity Catalog, designed specifically for businesses that have adopted the Databricks Data Intelligence Platform, is the only sol…

How to Train or Fine-Tune a Custom LLM on Your Data with Databricks(データブリックスを利用してカスタム大規模言語モデル(LLM)をトレーニングまたはファインチューニングする方法)

はじめに このセッションでは、データブリックス上でカスタムLLMをトレーニングおよびファインチューニングするプロセスについて紹介いたします。講演者はカスタムLLMがなぜ不可欠なのか、このプロセスにおけるデータブリックスの具体的な役割、およびM-Scie…

How McDonalds Uses ML to Optimize Restaurant Site Selection

Preface As McDonald's actively pushes to expand its global presence, the company utilizes advanced machine learning technologies to smartly determine potential new store locations. This segment delves into how mathematical models and sophi…