事例: 属性一致分析(Attribute Agreement Analysis)

リーンシックスシグマでは、測定システム分析(MSA: Measurement System Analysis)の一環として、オペレータ(人)を含めた測定システムの再現性や反復性を調べることがあります(Gage R&R)。この測定システム分析は、連続数値を扱う方法と、離散数を扱う方法の、二つに分類されますが、主に前者の連続数を扱う測定システム分析が用いられ、抵抗値や電圧、サイズの測定などに使われています。

離散数を扱う測定システム分析は、属性一致分析(Attribute Agreement Analysis)とも呼ばれ、主に合格/不合格の判定がオペレータ(人)によってどれほど差があるのかを調べる場合に用いられます。この属性一致分析は、思いのほか応用範囲が広いので、試しに使ってみることにしました。

動機

日頃、グループで意思決定をすることが多いことと思います。例えば僕の周りでもミーティングでプロジェクトのスケジュールを決めたり、コストを見積もったりしています。またソフトウェアの開発現場では、スクラム・バックログのサイズを、グループ内の話し合いで決めたりしています。リーンシックスシグマでは、FMEA(故障モードとその影響の解析)において、危険優先指数(RPN: Risk Priority Number)をミーティングで決定することがあります。それらに共通するのは、すべて離散値であり、またグループでの意思決定であり、その意思決定がビジネスに大きな影響を及ぼしている、ということです。

問題なのは、グループ員それぞれの意思決定が、どれほど再現性や反復性があり、首尾一貫しているのか、ということです。これは属性一致分析(Attribute Agreement Analysis)を行うことで見えてくるはずです。もし意思決定に一貫性がないとすれば、どこかに問題があり、それがビジネスに悪影響が出る前に対応しなくてはなりません。

準備

FMEA の危険優先指数(RPN: Risk Priority Number)を決める項目の一つである、影響の厳しさ(Severity)を使って、属性一致分析(Attribute Agreement Analysis)を行うことにしました。そこでまず、ミーティングで FMEA のそれぞれの項目について議論し、理解を深めました。また影響の厳しさ(Severity)の尺度についても確認しました。そして Mititab を使い、 FMEA 全項目の順序をランダム化した表を、グループ員それぞれのために作成しました。

実施

グループ員それぞれに 前述の FMEA 全項目を表にしたものを配り、全ての項目について、影響の厳しさ(Severity)を評価してもらいました。1日一回、合計3回行いました。

分析

3回の個人評価の後にグループ・ミーティングを行い、グループで影響の厳しさ(Severity)を評価しました。このグループでの評価値は、後の Minitab での分析で、スタンダード値として使いました。

問題

グループ員それぞれの評価値と、スタンダード値(グループでの評価値)を Minitab に写し、属性一致分析(Attribute Agreement Analysis)を行いました。そこで見えたものは、明らかに意思決定が、個人内でも、またスタンダード値と比較しても、一貫性に欠けているということでした。一貫性はせいぜい 60% 程しかなく、また Kappa 係数が 0.6 を切るものもありました。

属性一致分析

一貫性が欠如した背景として、(1)各評価項目の理解が足りなかったこと、(2)評価方法の理解が足りなかったこと、(3)それぞれの項目の理解がグループ員で一貫していなかったこと、等が挙げられました。(1)と(3)については、FMEA を実施する際のミーティング不足と議論不足から来ており、また(2)については FMEA のトレーニング不足から来るものでした。

対策

FMEA に限らず、グループで意思決定を行う際は、グループ員全員が一貫した理解を持つよう、十分なミーティングの時間と議論を持つようにしました。またツールを使って意思決定を行う際は、ツールの正しい使い方をグループ員全員が正しく理解しているか、確かめるようにしました。

結論

グループで意思決定を行うことが増え、それがビジネスにも影響を与えるようになった今、属性一致分析(Attribute Agreement Analysis)は組織の問題点を明らかにしてくれるツールと言えるのではないでしょうか。