日本IBMは2021年4月21日、マシンラーニング（機械学習）を適用した業務システムの品質を、安全性、有用性、公平性の面で診断し、課題や改善点を提示するサービス「IBM ML品質診断サービス」を開始した。品質の高いAIを構築するための管理項目や方向性を提案するとしている。
「IBM ML品質診断サービス」は、マシンラーニング（機械学習）を適用した業務システムの品質を、安全性、有用性、公平性の面で診断し、課題や改善点を提示するサービスである。品質の高いAIシステムを構築するための管理項目や方向性を提案する。
各業界や業務の知見を持つ日本IBMのコンサルタントとデータサイエンティストが、独自の診断フレームワークを使って品質を診断する。診断フレームワークは、国立研究開発法人新エネルギー・産業技術総合開発機構と国立研究開発法人産業技術総合研究所が策定した「機械学習品質マネジメントガイドライン」に基づいて開発した。
サービスではまず、AIを展開する際に求められる品質と管理項目を明確にする。診断フレームワークを使って、開発段階または運用段階にあるAIの品質を、網羅的に可視化する。次に、マシンラーニングシステムの予測性能、データの量や質、プログラムといったシステム面の診断結果と、組織、プロセス、ツールなどの診断結果を提示する。課題点や改善点、実施すべき品質管理項目と今後の方向性を提言する。
診断フレームワークのベースとなった機械学習品質マネジメントガイドラインは、マシンラーニングを用いたAIシステムの品質を維持するための品質の定義や管理項目を体系化したものである。日本IBMは「機械学習品質マネジメント検討委員」の一員として策定に協力してきた。
背景として日本IBMは、医療現場や入退館管理での画像解析、製造業での故障診断、車の自動運転の支援など、各種分野でAIが使われており、安全性、有用性、公平性などにおいて品質が求められてきている状況を挙げる。「ほとんどの業務アプリケーションにAIが組み込まれていくと想定したとき、AIの品質を客観的に診断して評価し、根拠を確認しながら改善し維持、管理していくための仕組みが必要になってきている」（同社）
