[新製品・サービス]
New Relic、OpenAI GPT APIの使用状況と性能を可視化する「OpenAI Observability」
2023年3月29日(水)日川 佳三（IT Leaders編集部）
クラウド型システム性能監視ツール「New Relic」を提供しているNew Relicは2023年3月29日、米OpenAIが提供するGPTシリーズのAPI性能をダッシュボードで監視する機能「OpenAI Observability（OpenAIオブザーバビリティ）」を発表した。APIの利用コスト、応答時間、リクエストあたりの平均トークンなど、APIの利用状況に関する各種のデータを可視化する。追加ライセンスを購入する必要はなく、コードを2行追加するだけで利用可能である。
New Relicの「New Relic」は、クラウド型のシステム性能監視ツールである。監視対象のシステムやアプリケーションからデータを収集して可視化する。最近のリリースでは、ログデータを機械学習して外れ値を検出可能にするなど、AI分析機能を強化している。直近では、ソフトウェアの脆弱性管理機能も追加している（関連記事：システム性能監視ツール「New Relic」でソフトウェアの脆弱性管理が可能に）。
画面1：OpenAI GPTシリーズのAPI性能を監視する「OpenAI Observability」のダッシュボード画面（出典：New Relic）拡大画像表示
今回、システム性能の監視対象として、米OpenAIが提供する大規模言語モデルであるGPTシリーズのAPIを追加した。GPTシリーズのAPIの利用状況や性能をダッシュボードで監視する機能「OpenAI Observability（OpenAIオブザーバビリティ）」を用意した（画面1）。APIの利用コスト、応答時間、リクエストあたりの平均トークンなど、APIの利用状況に関する各種のデータを可視化する。追加ライセンスを購入する必要はなく、コードを2行追加するだけで利用可能である。
導入効果として、平均応答時間など性能に関する主要メトリクスを可視化することで、APIをアプリケーションに組み込む開発者は、使用状況を改善してレスポンスを高められるようになる。また、OpenAIのDavinciモデルの使用コストは高額だが、これをリアルタイムに把握することで、使い過ぎてコストがかさむ問題を解消可能である。
