APC 技術ブログ

株式会社エーピーコミュニケーションズの技術ブログです。

株式会社 エーピーコミュニケーションズの技術ブログです。

2024-06-14から1日間の記事一覧

Rapid LLM Prototyping with OpenAI, Databricks, and Streamlit

Preface In the session on rapid LLM prototyping utilizing technologies such as OpenAI, Databricks, and Streamlit, participants gained insights into how Gjensidige, Norway's largest insurance company, operates and builds strategic collabora…

Building High-Quality and Trusted Data Products with Databricks

Preface Building data products necessitates safety and reliability. Databricks provides a pathway to the creation of high-quality data products that adhere to these standards. In this session, two domain experts, Karthik, and Pomerit, will…

Simplify GenAI App Development with Secure, Custom AI Agents

Preface In the session titled "Introduction to AI Agent Workflows and Tools," strategies for streamlining the development of generative AI applications were showcased. The speakers, Atriti from Mosaic AI and Bilal, a Product Manager from A…

What's New with Data Sharing and Collaboration

Preface In the inaugural segment of this "Latest in Data Sharing and Collaboration” session, we delve into the complexities of data sharing and how AI-powered and Databricks is revolutionizing this field. Preface The Ideal Environment for …

Building High-Quality and Trusted Data Products with Databricks (Databricksを活用した高品質で信頼性の高いデータ製品の構築)

セッションの要約 本セッションでは、Databricksを活用したデータ製品の構築とその主要概念について説明されました。エキスパートのKarthikとPomeritがデータアーキテクチャ、セキュリティ、ガバナンスに関する洞察を共有し、信頼性の高いデータ製品の重要性…

Databricks Streaming Project Lightspeed Goes Hyperspeed(Databricksのストリーミング・プロジェクトLightspeedがハイパースピードに)

リアルタイムデータ処理の紹介 皆さん、こんにちは。私は最近、50 Cent Mediaのデータリードで、製品マネージャーであり、開発マネージャーでもあるGordon Benderによる興奮したセッション"Databricks Streaming – Project Lightspeed Goes Hyperspeed"に参…

How McDonalds Uses ML to Optimize Restaurant Site Selection(マクドナルドがMLを活用して出店地選定を最適化する方法)

マクドナルドがグローバルなプレゼンスを拡大するために積極的に推進する中で、同社は先進的な機械学習技術を、新たな店舗の候補地の効果的な選定に活用しています。このセグメントでは、数学モデルや精巧なデータ処理がいかにしてこれらの重要な決定を洗練…

Data + AI Summit Keynote, Thursday (Data + AIサミット基調講演、木曜日)

セッションの要約 本セッションは、小型言語モデル(SLN)のエコフレンドリーなアプローチについて説明し、Databricksのデータプラットフォームの最新進展を探ります。イェジン教授は、GPT-2モデルの再評価とSLNの価値を強調しました。また、Delta LakeとUni…

Accelerating Operational Excellence with Generative AI(ジェネレーティブAIにより加速するオペレーショナル・エクセレンス)

金融・保険業界において、顧客サービスが迅速かつ正確な対応を求められる中、当社はRetrieval Augmented Generation(RAG)システムを導入しました。このAI駆動ソリューションは、ディープラーニング技術を使用して、膨大な非構造化データから文脈に応じた回…

Building a Production Scale, Totally Private, OSS RAG Pipeline with DBRX, Spark, and LanceDB

Preface In this session, the CEO of NCD, a data-centered organization, spoke extensively about his experiences in developing tools for data science and AI projects. The discussion was centered around their process of building the wholly pr…

Building a Production Scale, Totally Private, OSS RAG Pipeline with DBRX, Spark, and LanceDB(DBRX、Spark、LanceDBによる、プロダクション・スケール、完全プライベートなOSS RAGパイプラインの構築)

導入と初期の利点 実用的なデモンストレーションとプライバシーの問題 プロダクションスケールのAIパイプラインでのベンダーロックインの回避とデータの移植性を確保する方法 DBRX、Spark、および LanceDBを使用した完全プライベートな公開規模のOSS RAGパイ…

How to Train or Fine-Tune a Custom LLM on Your Data with Databricks

Preface In this session, we will explore strategic timing and motivations for training a custom LLM. Leveraging Databricks, which is designed to efficiently and easily handle large-scale data and complex computational tasks, significantly …

Prompt Engineering is Dead: Build LLM Applications with DSPy Framework (プロンプトエンジニアリングは死んだ。 DSPy フレームワークを使用して LLM アプリケーションを構築する)

はじめに -本日のトピック「プロンプトエンジニアリングは終わった; DSPyフレームワークを使ってLLMアプリケーションを構築する」について話す機会をいただき、光栄です。このプレゼンテーションでは、プロンプトエンジニアリングの分野における重要なシフト…

Data Platform Modernization with a Data Mesh Architecture (データメッシュアーキテクチャを用いたデータプラットフォームの近代化)

セッションの要約 ラテンアメリカ最大の民間銀行Bradescoは、データメッシュアーキテクチャを採用してデータプラットフォームの近代化を進めています。セッションでは、プロダクション準備段階での技術的な課題とコミュニティ協力の重要性が強調されました。…

What's New with Data Sharing and Collaboration(データ共有とコラボレーションの最新情報)

伝統的なデータ共有の制約を克服する 伝統的なデータ共有の課題 オープンな協調プラットフォームの導入:Databricks Databricksによる協調的なデータ共有 Databricksマーケットプレイスの拡大 Databricksマーケットプレイスにおける成長とイノベーション Dat…

Unlock Data and AI Potential with a Fully Orchestrated Health Lakehouse(完全にオーケストレーションされた Health Lakehouse でデータと AI の可能性を解き放つ)

はじめに 本日のセッション「完全にオーケストレーションされたヘルスレイクハウスでデータとAIの可能性を解き放つ」へようこそ。ここでは、Doral Health and WellnessとPercept Healthの協力について探求します。このパートナーシップは、データとAIの力を…

Path to Production: Databricks Project CICD for Seamless Inner to Outer Dev Loops (本番環境への道:CICDによるシームレスな内部から外部の開発ループのためのDatabricksプロジェクト)

セッションの要約 本セッションは、Databricksアセットバンドルを使用したプロジェクト構築に焦点を当て、プロダクション準備段階での課題とコミュニティ協力の重要性を強調します。特にグローバルデータ統合(GDI)システムの実装が最大8ヶ月かかる複雑さを…

Data Modeling Made Simple: A Non-Technical Beginner’s Guide

Preface Data modeling, a technical approach to representing complex business data in a visually comprehensible form, serves not only as a means for businesses to better understand their data landscape but also as a bridge for communication…

DATA+AI Summit2024(DAIS2024)に関する投稿まとめ(現地時間2024年6月13日分)

はじめに エーピーコミュニケーションズでは現地参加メンバーと日本から視聴するメンバーで連携しDATA+AI SUMMIT2024に関するポータルサイトを展開し、イベントに関する情報をお届けしています。是非ともこちらの特設サイトのチェックもよろしくお願いいたし…

What’s New in Unity Catalog—with Live Demos

Preface Dive into the forefront of data and AI governance advancements with the product team of Unity Catalog. Unity Catalog, designed specifically for businesses that have adopted the Databricks Data Intelligence Platform, is the only sol…

How to Train or Fine-Tune a Custom LLM on Your Data with Databricks(データブリックスを利用してカスタム大規模言語モデル(LLM)をトレーニングまたはファインチューニングする方法)

はじめに このセッションでは、データブリックス上でカスタムLLMをトレーニングおよびファインチューニングするプロセスについて紹介いたします。講演者はカスタムLLMがなぜ不可欠なのか、このプロセスにおけるデータブリックスの具体的な役割、およびM-Scie…

How McDonalds Uses ML to Optimize Restaurant Site Selection

Preface As McDonald's actively pushes to expand its global presence, the company utilizes advanced machine learning technologies to smartly determine potential new store locations. This segment delves into how mathematical models and sophi…

Automating Unity Catalog Migration with UCX: Building Robust Python Applications on Databricks (UCXを使用してUnity Catalogの移行を自動化する Databricks上で堅牢なPythonアプリケーションを構築する)

セッションの要約 ※ 本セッションに関する以下の記事は、本セッションの一部分のみの内容です。 本セッションは、Databricksでの安全かつ自動化されたテスト導入に焦点を当て、特にGitHubとAzureの統合を用いた設定方法を解説します。自動化テストは、コード…

Path to Production: Databricks Project CICD for Seamless Inner to Outer Dev Loops

Preface At the outset of the session, we honed in on various challenges associated with implementing CI/CD in Databricks projects. Central to our discussions was the role of community collaboration, playing a pivotal part in overcoming the…

What’s New in Unity Catalog—with Live Demos(Unity Catalogの最新情報 - ライブデモ付き)

Unity Catalog: 歴史と主な特徴の追跡 Unityカタログにおける新たなガバナンス機能とオブジェクトタイプ 改善されたガバナンス機能と進化したオブジェクトタイプ Unity CatalogとHive Metastore Federationによる効率的なデータ移行 Hive Metastoreとの統合 …

Summary of posts on DATA+AI Summit 2024 (DAIS2024, June 13, 2024)

Introduction AP Communications has developed a portal site for DATA+AI SUMMIT 2024 in collaboration with local participants and members watching from Japan to deliver information about the event. [ Our event site] Introduction June 13, 202…

Data + AI Summit Keynote, Thursday

Preface An incredible program awaits us, but first and foremost, we want to express our appreciation to all our partners. Without the partners, this program could not have been realized. We want to thank the GSIs, hyperscalers, and all the…

Summary of posts on DATA+AI Summit 2024 (DAIS2024, Virtual Sessions)

Introduction AP Communications has developed a portal site for DATA+AI SUMMIT 2024 in collaboration with local participants and members watching from Japan to deliver information about the event. [ Our event site] Introduction Virtual Sess…

A Practical Introduction to Machine Learning with Databricks Mosaic AI

Preface Welcome to "A Practical Introduction to Machine Learning Using Databricks Mosaic AI." Today, we are thrilled to host Craig, who oversees AI and machine learning product management at Databricks, to share insights into this burgeoni…

Accelerating Operational Excellence with Generative AI

Preface In the financial and insurance industries, where customer service demands swift and accurate responses, our company has implemented a Retrieval Augmented Generation (RAG) system. This AI-driven solution leverages deep learning tech…