[新製品・サービス]
New Relic、OpenAIのGPT APIの使用状況と性能を可視化する「OpenAI Observability」
2023年3月29日(水)日川 佳三(IT Leaders編集部)
クラウド型システム性能監視ツール「New Relic」を提供しているNew Relicは2023年3月29日、米OpenAIが提供するGPTシリーズのAPI性能をダッシュボードで監視する機能「OpenAI Observability(OpenAIオブザーバビリティ)」を発表した。APIの利用コスト、応答時間、リクエストあたりの平均トークンなど、APIの利用状況に関する各種のデータを可視化する。追加ライセンスを購入する必要はなく、コードを2行追加するだけで利用可能である。
New Relicの「New Relic」は、クラウド型のシステム性能監視ツールである。監視対象のシステムやアプリケーションからデータを収集して可視化する。最近のリリースでは、ログデータを機械学習して外れ値を検出可能にするなど、AI分析機能を強化している。直近では、ソフトウェアの脆弱性管理機能も追加している(関連記事:システム性能監視ツール「New Relic」でソフトウェアの脆弱性管理が可能に)。
画面1:OpenAI GPTシリーズのAPI性能を監視する「OpenAI Observability」のダッシュボード画面(出典:New Relic)拡大画像表示
今回、システム性能の監視対象として、米OpenAIが提供する大規模言語モデルであるGPTシリーズのAPIを追加した。GPTシリーズのAPIの利用状況や性能をダッシュボードで監視する機能「OpenAI Observability(OpenAIオブザーバビリティ)」を用意した(画面1)。APIの利用コスト、応答時間、リクエストあたりの平均トークンなど、APIの利用状況に関する各種のデータを可視化する。追加ライセンスを購入する必要はなく、コードを2行追加するだけで利用可能である。
導入効果として、平均応答時間など性能に関する主要メトリクスを可視化することで、APIをアプリケーションに組み込む開発者は、使用状況を改善してレスポンスを高められるようになる。また、OpenAIのDavinciモデルの使用コストは高額だが、これをリアルタイムに把握することで、使い過ぎてコストがかさむ問題を解消可能である。
-
AI時代の“基幹インフラ”へ──NEC・NOT A HOTEL・DeNAが語るZoomを核にしたコミュニケーション変革とAI活用法
-
加速するZoomの進化、エージェント型AIでコミュニケーションの全領域を変革─「Zoom主催リアルイベント Zoomtopia On the Road Japan」レポート
-
14年ぶりに到来したチャンスをどう活かす?企業価値向上とセキュリティ強化・運用効率化をもたらす自社だけの“ドメイン”とは
-
-
-
-
生成AIからAgentic AIへ―HCLSoftware CRO Rajiv Shesh氏に聞く、企業価値創造の課題に応える「X-D-Oフレームワーク」
-
-
-
「プラグアンドゲイン・アプローチ」がプロセス変革のゲームチェンジャー。業務プロセスの持続的な改善を後押しする「SAP Signavio」
-
BPMとプロセスマイニングで継続的なプロセス改善を行う仕組みを構築、NTTデータ イントラマートがすすめる変革のアプローチ
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-



