APC 技術ブログ

株式会社エーピーコミュニケーションズの技術ブログです。

株式会社 エーピーコミュニケーションズの技術ブログです。

Data Warehousing Performance, Scale and Security with Databricks SQL(Databricks SQLによるデータウェアハウジングの性能、拡張性及びセキュリティ)

はじめに 企業やミッションクリティカルな環境でのデータウェアハウジングは、コストパフォーマンスとセキュリティに特別な注意が必要です。このセッションでは、Databricks SQLがこれらの厳しい要件をどのように満たしているかを詳しく解説しました。 目次 …

Leveraging GenAI to Accelerate Innovation

Preface This session aimed to reveal how the adoption of AI technologies like natural language processing and generative AI is redefining and streamlining approaches to handling product information. This not only enhances the effectiveness…

Introducing the Databricks AI Security Framework (DASF) to Manage AI Security Risks

Preface Databricks' security team has developed the Databricks AI Security Framework (DASF) in collaboration with top cyber security researchers from OWASP, Gartner, NIST, McKinsey, and several Fortune 100 companies. This framework is desi…

Copilotを活用したPythonでの顔認識とモザイク処理

この記事では、AIアシスタントCopilotを使用してPythonで顔認識とモザイク処理を行うプログラムを作成する過程を詳細に解説します。ライブラリの導入からエラー対処、そして最終的なコードの実行まで、一歩一歩を丁寧に説明します。

Copilotのノートブックでソースコードをリファクタリングする方法

この記事では、Copilotのノートブックを使用してソースコードのリファクタリングを行う方法を詳しく解説しています。具体的な手順とリファクタリングの結果についても触れています。

An In Depth Look at the New Features of Apache Spark 3.5

Preface Hello everyone, this is Daniel. Today, we're focusing on the release of Apache Spark 3.5. Although this session concentrates specifically on version 3.5, it's worth noting that this release is remarkably stable, setting the stage f…

Accelerating LLM Inference with vLLM

Preface Today's session was hosted by Johan from UC Berkeley and Kade from AnyScale, who both played pivotal roles in the development of vLLM. A short survey was conducted to identify participants who have contributed to, deployed, or are …

Databricks’ Journey: Driving Business Transformation with Data & GenAI

Preface This session revolves around Databricks' efforts to drive business transformation. We particularly delve into two key themes - initiating internal changes and elevating data literacy. By utilizing their unique Data Intelligence Pla…

Databricks Vector Search: What, Why and How

Preface As recently highlighted by Sonali, a recent Computer Science graduate from New York University, traditional keyword-based search methods often fall short in fully capturing the intent and relevance of a user’s queries, frequently y…

The C-Level Guide to Data Strategy Success with 3Ps - People Process and Platform - in a GenAI World

Preface In this section, we focused on the decisive roles of machine learning and data curation in Generative AI. A hands-on introduction to machine learning using Databricks' Mosaic AI was shared by the speaker, Craig. Passionate about AI…

Efficient MLOps: Developing and Deploying ML Models with Databricks

Preface Welcome to the world of MLOps. In this session, we kick off the discussion with insights and challenges faced while implementing an effective MLOps framework, joined by product owners Lavinia Guadaniolo and Alessandro from Plenitud…

Leveraging GenAI to Accelerate Innovation(GenAIを活用してイノベーションを加速する)

イントロダクションと戦略的概覽 初期の課題と解決策 セッションの概要 セクションのテーマ:GenAIの実装と反復的な開発 音声データの分析 非構造化データの構造化 データ集約 結論 イントロダクションと戦略的概覽 皆さん、こんにちは。本日はマンカインド…

An In Depth Look at the New Features of Apache Spark 3.5(Apache Spark 3.5の新機能についての詳細な調査)

Apache Sparkの導入と遺産 Spark Connectの向上 Spark Connectとは何か? Spark Connectの重要性は? 強化されたSpark Connectの利点 多相解析の重要性 実装の洞察 開発の利点 Apache Spark 3.5におけるストリーミングの改善と将来の展望 結論 Apache Spark…

BicepでEntra IDの「アプリの登録」を実現する

朗報 BicepがMicrosft Graphのサポート みなさんこんにちは。少し前の2024年5月20日、Bicep templateでMicrosoft Graphのpublic previewが公開されました。 techcommunity.microsoft.com 本当に長いこと(といってもBicepが世に出てまだ数年ですが)待ち望ん…

Building Your First GenAI App using Databricks, MosiacML and MLRun

Preface Welcome to the world filled with insights of building GenAI applications. Led by Aaron, the co-founder of Iguago which was acquired by McKinsey, and Bruce Philp, a tech fellow at McKinsey & Company, this session explores the concep…

Scaling Marketing and Docs with a Privacy-Safe RAG Model

Preface In the digital age, one of the principal challenges a business faces is managing an increasing amount of unstructured data. Analysing activities such as internal documents, meeting notes, recorded calls, and transcriptions can be e…

Mitigating LLM Hallucination Risk Through Research Backed Metrics

Preface In the realm of LLMs, mitigating the risk of hallucination and ensuring the accuracy of outputs is fundamental. This section details the inherent challenges during the human evaluation phase of model development and deployment. Und…

LLMs in Production: Fine-Tuning, Scaling, and Evaluation

Preface In the highly competitive market of today, businesses increasingly rely on Large Language Models (LLMs) to enhance various aspects of their operations. This session focuses on fine-tuning LLMs to meet specific business needs and ap…

KubernetesのNetworkPolicy解説:AI Copilotとの対話

この記事では、KubernetesのNetworkPolicyの基本と、具体的な設定例についてCopilotを使って解説します。また、AIを使った設定ファイルの解釈の有用性とその可能性についても触れています。

Rapid LLM Prototyping with OpenAI, Databricks, and Streamlit

Preface In the session on rapid LLM prototyping utilizing technologies such as OpenAI, Databricks, and Streamlit, participants gained insights into how Gjensidige, Norway's largest insurance company, operates and builds strategic collabora…

Building High-Quality and Trusted Data Products with Databricks

Preface Building data products necessitates safety and reliability. Databricks provides a pathway to the creation of high-quality data products that adhere to these standards. In this session, two domain experts, Karthik, and Pomerit, will…

Simplify GenAI App Development with Secure, Custom AI Agents

Preface In the session titled "Introduction to AI Agent Workflows and Tools," strategies for streamlining the development of generative AI applications were showcased. The speakers, Atriti from Mosaic AI and Bilal, a Product Manager from A…

What's New with Data Sharing and Collaboration

Preface In the inaugural segment of this "Latest in Data Sharing and Collaboration” session, we delve into the complexities of data sharing and how AI-powered and Databricks is revolutionizing this field. Preface The Ideal Environment for …

Building High-Quality and Trusted Data Products with Databricks (Databricksを活用した高品質で信頼性の高いデータ製品の構築)

セッションの要約 本セッションでは、Databricksを活用したデータ製品の構築とその主要概念について説明されました。エキスパートのKarthikとPomeritがデータアーキテクチャ、セキュリティ、ガバナンスに関する洞察を共有し、信頼性の高いデータ製品の重要性…

Databricks Streaming Project Lightspeed Goes Hyperspeed(Databricksのストリーミング・プロジェクトLightspeedがハイパースピードに)

リアルタイムデータ処理の紹介 皆さん、こんにちは。私は最近、50 Cent Mediaのデータリードで、製品マネージャーであり、開発マネージャーでもあるGordon Benderによる興奮したセッション"Databricks Streaming – Project Lightspeed Goes Hyperspeed"に参…

How McDonalds Uses ML to Optimize Restaurant Site Selection(マクドナルドがMLを活用して出店地選定を最適化する方法)

マクドナルドがグローバルなプレゼンスを拡大するために積極的に推進する中で、同社は先進的な機械学習技術を、新たな店舗の候補地の効果的な選定に活用しています。このセグメントでは、数学モデルや精巧なデータ処理がいかにしてこれらの重要な決定を洗練…

Data + AI Summit Keynote, Thursday (Data + AIサミット基調講演、木曜日)

セッションの要約 本セッションは、小型言語モデル(SLN)のエコフレンドリーなアプローチについて説明し、Databricksのデータプラットフォームの最新進展を探ります。イェジン教授は、GPT-2モデルの再評価とSLNの価値を強調しました。また、Delta LakeとUni…

Accelerating Operational Excellence with Generative AI(ジェネレーティブAIにより加速するオペレーショナル・エクセレンス)

金融・保険業界において、顧客サービスが迅速かつ正確な対応を求められる中、当社はRetrieval Augmented Generation(RAG)システムを導入しました。このAI駆動ソリューションは、ディープラーニング技術を使用して、膨大な非構造化データから文脈に応じた回…

Building a Production Scale, Totally Private, OSS RAG Pipeline with DBRX, Spark, and LanceDB

Preface In this session, the CEO of NCD, a data-centered organization, spoke extensively about his experiences in developing tools for data science and AI projects. The discussion was centered around their process of building the wholly pr…

Building a Production Scale, Totally Private, OSS RAG Pipeline with DBRX, Spark, and LanceDB(DBRX、Spark、LanceDBによる、プロダクション・スケール、完全プライベートなOSS RAGパイプラインの構築)

導入と初期の利点 実用的なデモンストレーションとプライバシーの問題 プロダクションスケールのAIパイプラインでのベンダーロックインの回避とデータの移植性を確保する方法 DBRX、Spark、および LanceDBを使用した完全プライベートな公開規模のOSS RAGパイ…