APC 技術ブログ

株式会社エーピーコミュニケーションズの技術ブログです。

株式会社 エーピーコミュニケーションズの技術ブログです。

2024-06-13から1日間の記事一覧

Latest Advancements in MLflow (MLflowにおける最近の進化)

セッションの要約 MLflowは、MLライフサイクル全体でモデル管理を標準化・簡素化するツールです。開発者David BriggsとBenの貢献で「Drain-A-Anim」機能が強調され、MLflowの将来の改善が期待されています。最新のバージョン2.11と2.12では、ダッシュボード…

A Practitioner's Perspective on LLMOps

Preface In the rapidly evolving fields of generative AI and Large Language Models (LLMs), effectively operationalizing these technologies presents a significant challenge for businesses attempting to integrate them into operational workflo…

The AI Regulatory Landscape What’s Here What’s Coming How to Prepare

Preface Venturing into the landscape of AI regulation, which continues to evolve without pause worldwide, is undoubtedly a challenge. To provide a clear overview of the issues at hand and offer our audience insights into the environment of…

Prompt Engineering is Dead; Build LLM Applications with DSPy Framework

Preface In exploring the session landscape, a significant shift in the perception of prompt engineering was highlighted. Although the session title might appear controversial, it effectively emphasized the urgency and relevance of the disc…

In the Trenches with DBRX Building a State-of-the-Art Open-Source Model(DBRX による最前線: 最先端のオープンソース モデルの構築)

はじめに 当初DPRXとして導入され、後にDBRXと改名されたこのセッションは、独自のデータを活用し投資利益を最大化することを中心にした開発哲学を強調しました。不動産データを利用したカスタムAIモデルが現実のビジネスシナリオで果たす重要な役割が詳細に…

Scaling AI in Australia and New Zealand with ML Foundations and Databricks (ML FoundationsとDatabricksを用いたオーストラリアとニュージーランドにおけるAIのスケーリング)

セッションの要約 今日、私たちはオーストラリアとニュージーランド全域でAIを再現可能でスケーラブルな方法で実装するという重要なトピックについて深く掘り下げました。Mantel GroupとDatabricksからの広範な洞察を提供するこのセッションは、地域内でのAI…

What’s Next for the Upcoming Apache Spark 4.0? (今後のApache Spark 4.0には何が期待されるのか?)

セッションの要約 Apache Spark 4.0のリリースが近づいており、新機能やバグ修正によりユーザーエクスペリエンスが向上します。注目点はANSIモードとデータハンドリングの改善で、Sparknet GAの導入により多言語サポートが強化され、軽量なクライアントライ…

Migrating and Optimizing Large-Scale Streaming Applications with Databricks(Databricksによる大規模ストリーミングアプリケーションの移行と最適化)

FreewheelとBizWaxの紹介 Beeswaxデータプラットフォームアーキテクチャ Databricksへの移行に関する詳細な説明 パフォーマンス最適化テクニック 1. Spark StreamingとKinesis Stream 2. DataStreamWriterの設定 3. ForEachBatchメソッドの利用 DataFrame AP…

DATA+AI Summit2024(DAIS2024)に関する投稿まとめ(現地時間2024年6月12日分)

はじめに エーピーコミュニケーションズでは現地参加メンバーと日本から視聴するメンバーで連携しDATA+AI SUMMIT2024に関するポータルサイトを展開し、イベントに関する情報をお届けしています。是非ともこちらの特設サイトのチェックもよろしくお願いいたし…

Simplifying Lakehouse Observability: Databricks Key Design Goals and Strategies(レイクハウスの可観測性の簡素化: Databricks の主要な設計目標と戦略)

はじめに Databricksは、データ、分析、AIに基づくあらゆる事業の成功に不可欠な湖畔監視ツールの広範な配列を提供しています。このセッションでは、Databricksが提供する多様なツールと洞察を示し、運用を強化し、ユーザーの成功を高めることができました。…

DSPy: Compiling Language Model Calls into Self-Improving Pipelines(DSPy: 言語モデル呼び出しを自己改善パイプラインにコンパイルする)

AIとヒューマン・イン・ザ・ループ・システムの統合 このセッションで興味深かったのは、「AIとヒューマン・イン・ザ・ループ・システムの統合」に関する話題でした。ここでは、Webページ、プラットフォーム、Twitterでの問題解決を目的とした質問の発見、明…

What’s Next for the Upcoming Apache Spark 4.0?

Preface The long-awaited release of Apache Spark 4.0 brings a set of enhancements, extending its features and enriching the developer's experience with this unified analytics engine. This presentation aims to highlight the notable changes …

Building Production RAG Over Complex Documents (複雑なドキュメントに対するRAGの構築)

セッションの概要 LlamaIndexの共同創業者であるJerryが本セミナーを開催しました。この90分間のセミナーでは、参加者はJupyterノートブックを使用してRetrieval-Augmented Generation(RAG)システムの構築プロセスを学びました。RAG(検索拡張ジェネレーシ…

Simplifying Lakehouse Observability: Databricks Key Design Goals and Strategies

Preface Databricks offers an extensive array of lakeside monitoring tools that are essential for the success of any business reliant on data, analytics, and AI. This session showcased the diverse tools and insights provided by Databricks t…

Building Production RAG Over Complex Documents

Building and Enhancing the RAG Pipeline Advanced Techniques and Tools in Building RAG on Complex Documents Deep Dive into Advanced Active Systems and Continuous Improvement Understanding RAG Exploring Advanced Active Systems Emphasizing Co…

Latest Advancements in MLflow

Preface This session delves deep into the latest features of MLflow and its ongoing evolution, introducing some incredibly compelling developments. This section provides a basic overview of the MLflow lifecycle. Preface Introduction and Ov…

Summary of posts on DATA+AI Summit 2024 (DAIS2024, June 12, 2024)

Introduction AP Communications has developed a portal site for DATA+AI SUMMIT 2024 in collaboration with local participants and members watching from Japan to deliver information about the event. [ Our event site] Introduction June 12, 202…

Scaling AI in Australia and New Zealand with ML Foundations and Databricks

Preface Effectively scaling Artificial Intelligence (AI) across an enterprise presents a unique set of challenges, especially in regions like Australia and New Zealand where diverse industries demand customized AI solutions. In this sessio…

Implementing the Lakehouse, from BI to AI

Evolution Toward an Integrated Architecture Standardization and Governance: ABN Amro's Data Architecture Strategy Centralized Management and Data Sharing Compliance and Orchestration About the special site during DAIS Evolution Toward an I…

Implementing the Lakehouse, from BI to AI(レイクハウスの導入、BIからAIへ)

統合アーキテクチャへの進化 標準化とガバナンス:ABN Amroのデータアーキテクチャ戦略 中央集権的な管理とデータ共有 コンプライアンスとオーケストレーション 統合アーキテクチャへの進化 当初、ABN Amroのデータチームは、ドメイン固有のデータアプリケー…

The MLOps Platform at WGU: Solutions to Production ML with Databricks (Western Governors UniversityにおけるMLOps:Databricksを用いた運用MLへの解決策)

セッションの概要 WGU (Western Governors University)のMLOpsチームがDatabricksを用いたMLOpsプラットフォームの初期設計と課題について発表しました。設計段階では標準化プロセスの確立、ソースコントロールメカニズム、堅牢なモニタリングシステムの実装…

Scaling RAG and Embedding Computations with Ray and Pinecone

Preface In this session, we explored how to efficiently scale Retrieval-Augmented Generation (RAG) and embedding computations using Ray and Pinecone. Engineers Roy (Engineering Manager at Pinecone) and Cheng Su (Engineering Manager from An…

The MLOps Platform at WGU: Solutions to Production ML with Databricks

Preface In this session report, the MLOps team at Western Governors University (WGU) presented on the theme "MLOps Platform at WGU: Production ML Solutions with Databricks." The session focused on the early stages of implementing MLOps (Ma…

Benchmarking Data and AI Platforms: How to Choose and use Good Benchmarks (データとAIプラットフォームのベンチマーキング: 良いベンチマークの選択と利用)

セッションの概要 このセッションでは、データ分析ツールの成長する世界について掘り下げ、これらの技術のパフォーマンスとTCO(総所有コスト)を評価するためのベンチマークの重要性を強調しています。 ベンチマークに関する詳細な説明 レイクハウスベンチ…

Unlock Data and AI Potential with a Fully Orchestrated Health Lakehouse

Preface Doral Health and Wellness, in collaboration with Percept Health, discussed the advancements in state-of-the-art healthcare data lakehouse systems in the session "Unleashing Data and AI Possibilities with a Fully Integrated Health L…

In the Trenches with DBRX: Building a State-of-the-Art Open-Source Model

Preface The session kicked off with a comprehensive introduction to DBRX (formerly known as DPRX), where Databricks facilitated a detailed discussion on the philosophy and developmental journey of this cutting-edge open-source project. The…

Scaling RAG and Embedding Computations with Ray and Pinecone(RayとPineconeによるRAGと埋め込み計算のスケーリング)

イントロダクション セクション:埋め込み計算とLLMの幻覚 AnyScaleのAIプラットフォームと「Read Data」ライブラリに焦点を当てる 1. 分散レイヤーとしてのRAGの呼び出し 2. AnyScaleライブラリの統合 3. 「Read Data」ライブラリの活用 RAGと非RAG実装の比…

DSPy: Compiling Language Model Calls into Self-Improving Pipelines

Preface In today's session, one topic that stood out was the "Integration of AI with Human-in-the-Loop Systems." Here, we delved into practical applications, including the discovery of problem-specific inquiries on webpages and platforms, …

Benchmarking Data and AI Platforms: How to Choose and use Good Benchmarks

Preface This session introduced the "Lake House AI Benchmark." Despite the scheduled appearance of Joe Harris, an unexpected emergency led to Shannon Barlow stepping in to deliver the presentation. The ever-evolving field of data analytics…