NECは2019年12月10日、マシンラーニング（機械学習）を活用したシステム構築サービスの品質を担保するため、「NEC AI品質ガイドライン」を策定したと発表した。NECがこれまで手がけたAI案件で適用してきたルールをまとめ、社内の実プロジェクトでの実証を基に策定した。NECのグループ会社5300人が集うコミュニティ「NEC Data Analyst Community」で共有し、2020年4月以降のAI案件に適用する。
NEC AI品質ガイドラインは、マシンラーニングを活用したシステム構築サービスの品質を担保するために策定したガイドラインである（図1）。従来型のソフトウェア品質保証だけでは対応できない、AIシステムの品質を担保することを目的に策定したとしている。NECグループ内で共有し、2020年4月以降のAI案件に適用する。
図1：AIシステムのフェーズごとにチェック項目を設定した（出典：NEC）拡大画像表示
AIシステムの構築・開発では、演繹的ではなく、帰納的な手法で進める必要がある。このため、開発の際には、試行錯誤をともなう。しかし、テストやレビューのように、品質の十分性を測定する技法がない。AIエンジンが分析結果を出力するまでの過程で人間による解釈が困難な場合もあり、従来のソフトウェア品質保証に関するガイドラインだけでは対応が困難だった。
今回策定したガイドラインでは、AI応用システムの開発経験と、従来のソフトウェア品質保証のスキルを両立する観点に立って、NECのノウハウをまとめた。これにより、今後のAIシステムの開発を下支えする、としている。
具体的には、早期のリスク防止のため、AIシステムのフェーズごとにチェック項目を設定する。AIを用いた開発では、通常のソフトウェア開発フェーズに加え、システムの企画（PoC）や、データの収集・加工、モデルの作成・評価・テスト、システム運用が重要になる。
ガイドラインでは、これら4つのフェーズに対して、具体的な基準を策定した。各フェーズ間を移行する際に、ガイドラインに従ってチェックすることで、次フェーズで発生する恐れのあるリスクを早い段階で防止する。
マシンラーニングのモデルに関しては、定量値を含むチェック項目を設定する。NECのAIシステム開発の経験を基に、データの量や外れ値、欠損値など、いくつかの項目に定量的基準を定めた。基準を明確化することで、第三者による判断が可能になる。
