AIシステムを構築・開発する際は、演繹的ではなく帰納的な手法で進める必要があり、試行錯誤を伴う。しかし、テストやレビューなど、品質の十分性を測定する技法が無く、AIエンジンの仕様や分析結果を出すまでの過程で、人間による解釈が困難な場合もあり、従来のソフトウェア品質保証に関するガイドラインだけでは対応が困難だった。
そこで、日本電気株式会社（以下、NEC）は、AI（機械学習）を活用したシステムの品質を担保するための「NEC AI品質ガイドライン」を策定した。同ガイドラインは、従来型のソフトウェア品質保証だけでは対応できない、AIシステムの品質を担保することが目的であり、NECがこれまで手掛けたAI案件で適用してきたルールをまとめて、社内で実プロジェクトでの実証をもとに策定したものだ。ガイドラインの特徴は以下の通り。
- 早期のリスク防止のため、AIシステムのフェーズごとにチェック項目を設定
AIを用いた開発では、通常のソフトウェア開発フェーズに加え、システムの企画（PoC）や、データの収集/加工、モデルの作成/評価/テスト、さらにはシステム運用が重要となる。同ガイドラインではこの特徴的な4つのフェーズに対して具体的基準を策定する。各フェーズ間を移行する際にガイドラインに従ってチェックすることで、次フェーズで発生する恐れのあるリスクを早い段階で防止できる。 - AI開発の経験から、機械学習モデルに関する定量値を含むチェック項目を設定
これまでのNECのAIシステム開発の経験を元に、機械学習のモデル作成用データの量や外れ値・欠損値等、いくつかの項目に定量的基準を定めた。基準を明確化することで、第三者による判断が可能となる。
同ガイドラインは、NECグループ会社5,300人が集い情報交換・共有を行う「NEC Data Analyst Community」で共有し、2020年4月以降のAI案件に適用している。