(ここから、本文です。)

ワークサンプル幕張版(MWS)「給与計算」課題のアセスメントのポイント

2023年03月

ワークサンプル幕張版(MWS)の新規に開発された3つの課題(給与計算、文書校正、社内郵便物仕分)のうち、「給与計算」課題について、より有効に活用したいと考える支援者のために、アセスメントに関わる3つのポイントを簡単に解説してみたいと思います。

MWSについて

MWSとは、「ワークサンプル幕張版(Makuhari Work Samples)」の頭文字を取ったもので、「ムウス」と呼んでいます。現実に存在する仕事に関連した16種類の作業課題(ワークサンプル)で構成されており、当センターの研究部門で開発されました。地域障害者職業センターなどの就労支援機関では、利用者の方がそれらの課題に取り組む様子を見ながら、職業評価を行ったり、苦手な作業を補助する方法を考えたりするために使われています。

これまでMWSには13課題がありましたが、2020年に発達障害や気分障害等の精神障害のある求職者や休職者の支援を目的として、認知的な負荷を高めた課題を新たに3種開発しました。それが、「給与計算」、「文書校正」、「社内郵便物仕分」です。これらの課題を実施することは、課題にチャレンジする利用者にとってももちろん大変ですが、それを彼らに実施する支援者にとっても大変です。

その中でも、「給与計算」は、参照すべき情報と行うべき操作が多いためか、一般の方を対象とした試行でも、平均正答率が3~4割程度と、新規課題3種中で最も低くなっています(※)。ここでは、支援者の負担軽減の一助とするべく、「給与計算」のアセスメントのポイントを少し考えてみたいと思います。

※ MWS新規課題の概要は、下記の調査研究報告書をご覧ください。ちなみに、「給与計算(簡易版)」の平均正答率が35.8%、「文書校正(簡易版)」が55.0%、「社内郵便物仕分(簡易版)」が75.6%でした。

本稿を読むに当たって

  • 本稿は、MWS新規課題開発後期にデータ収集・分析に関わった研究員によって、データ収集時の経験とデータ分析の結果等をもとに書かれており、MWSを使ったことがあるか、MWSの基本的な知識をお持ちの方を主な読者として想定しています。
  • しかし、MWSをご存知ない方や新規課題に触れたことがない方にもぜひ読んでいただければと思います。その際は、まず下記のリンク集等からMWSの概要等を簡単にでも目を通していただいてからお読みいただけますと、理解がより深まるかと思います。

※ リンク集のタイトルにある「トータルパッケージ」とは、MWSをその構成要素の1つとする支援技法の考え方です。

MWS「給与計算」課題アセスメントのポイント

本稿では、MWS「給与計算」の開発過程において、一般の成人の方に試行を実施したり、その結果を分析したりする中で、アセスメントのポイントとなると考えられた次の3つの点を紹介します。

  • ポイント1. サブブックをどう読む?
  • ポイント2. 「OK」ボタンが出ない?
  • ポイント3. エラー分析ってなに?

ポイント1.サブブックをどう読む?

「給与計算」に限らず、MWSの新規3課題は、利用者が、作業の仕方が書かれた「サブブック」と呼ばれる小冊子を読むことから始まります。ここが第一のポイントです。

MWS「給与計算」のサブブックの1ページ目の写真
図1 MWS「給与計算」のサブブック

新規課題を行うことになった利用者に対し、支援者は、まず「サブブック」を読むように指示し、読み終えたら作業を始めるように教示します。ただし、「給与計算」の場合、最初は「1~4ページの(4)」まで読むように、と読む範囲を指定します(※1)。この部分には「給与計算」の基本的な考え方や、パソコン上で行う作業なので、その画面説明、また計算の順序など、「給与計算」の概要が書かれています。

これを読んだ利用者は、「4ページの(4)」より後の、各項目の計算方法が書かれているページを読みながら作業を開始することになります。確かに具体的な作業は、計算方法が書かれた「4ページの(4)」より後のページを読むことで事足りるのですが、「4ページの(4)」以前に書かれている内容を知らないと、カーソルの動かし方や数値の確定のさせ方、計算順序を誤るといった、思わぬエラーを発生させてしまう原因になりえます。

私がこの「給与計算」という課題にとって、「サブブックを読む」ということが大事だと考えるようになったのは、「給与計算」で生じるエラーに2つのタイプがあることに気が付いたからです。いくつか設定したエラー項目のなかでも、同じ人が何度も繰り返すエラー(反復エラー)と単発で発生するエラー(単発エラー)があることに気づいたのです。それぞれのエラーの中身を見てみると、反復エラーは算出のルールが比較的複雑なもの、単発エラーはルールが比較的単純なもののように思えました(※2)。

そこで、反復エラーが生じている場合、サブブックの内容が入力結果に反映されていない可能性を考え、単発エラーが生じている場合は、ケアレスミスなどとの関連を考えました。少なくとも、サブブックをある程度読めていなければ、複雑な項目を正確に算出することは難しく、それにかかわるエラーを繰り返し発生させてしまうでしょう。

したがって、十分な時間をかけて「サブブック」を読んでいるか、ということは、アセスメントの第一のポイントになりうるのです。また、情報を正確に「入力」し、それを正しく「処理」(理解)し、過不足なく「出力」できるかという観点から考えても、「サブブック」を読み込む姿勢や、読み込む時間などは気にかけておきたいポイントです。

※1 初めてMWS「給与計算」を実施する場合、パソコンでの実施の前に「導入問題」を行うことを求めていますが、ここでは簡便のため省略しました。詳細は上述の調査研究報告書No. 145を参照ください。

※2 エラー項目の詳細は「ポイント3」で述べますが、「ポイント1」で言及した反復エラー/単発のエラーについては、調査研究報告書No. 145の第2章第2節2をご参照ください。ただし、報告書内では「反復エラー」、「単発エラー」という語は使っておらず、エラーの発生回数が1回に集中しているか、1回と最大回数の両方に集中しているかという表現を使っています。

ポイント2.「OK」ボタンが出ない!?

MWS「給与計算」課題の開発に当たっては、多くの方にご協力いただき、試行を繰り返してきましたが、その時、研究参加者の方からいただいた質問で最も多かったのは、「『OK』ボタンが出ないんですけど…」、あるいは「終わったのに先に進めないんですけど…」というものでした。

MWS「給与計算」画面で、入力が終了しても「OK」ボタンが出ないことを表した絵
図2 「OK」ボタンが出ないんですけど…

「OK」ボタンとは、「給与計算」においては、社員一人分(1画面分)の計算を終えたとき、計算結果が正しいか誤っているかに関係なく、画面右側に出てくるボタンです(図2参照)。それをクリックすれば次の問題に進むことができます。ところが、彼らによれば、計算を終え、空白のセルも無くなっているはずなのに「OK」ボタンが出ないというのです。中には、そのことを私たちスタッフに伝えられず、一生懸命計算し直している方もいらっしゃいました。

支援者の方からは、これはバグですか?とご質問いただくこともあります。しかし、これはバグではありません。上でも触れた、利用者が最初に読むよう指示される「サブブック」の範囲の最後「4ページの(4)」には、このようなことが書かれています。

“青いセルの入力値を確定する際は、必ずパソコンのエンターキーで確定します。すべての青いセルに入力し終えたら、パソコン画面の右下に「OK」の表示が出ます”

すべての空白セルを埋めても「OK」ボタンが出ないほぼ唯一の理由は、セルに数値を入力した後、パソコンのエンターキーを押していないというものです。そして、それは、「サブブック」に、上記のように書いてあります。読んでいるはずなのに忘れてしまう、思い出せないということは良くあることです。これ自体は特筆すべきことではないかもしれません。ただ、その人において、なぜこのようなことが生じたか考えることは、アセスメントの2つめのポイントになるでしょう。

「OK」ボタンが表示されない利用者の方は、少しだけ悩み、すぐに支援者に声を掛けられる方と、おひとりで延々と悩まれる方がおられます。後者の場合、独力での解決が困難そうであれば、「どうしました?」のように声をかけ、質問を引き出すことが必要な場合もあります。このように手助けの要請があった時、支援者はどのように動くべきでしょうか。アセスメントとしての実施の場合、すぐにすべてを教えてしまうことは、利用者の方の認知的特性についてアセスメントする機会を失うおそれがあります。

そんなとき、支援者は、まず、市販の『ワークサンプル幕張版 実施マニュアル—給与計算(OAWork Ver. 5.0)訓練版—』や『ワークサンプル幕張版 実施マニュアル—給与計算・文書校正・社内郵便物仕分け(簡易版)—』(以下では両者とも「実施マニュアル」とします。)の「対象者からの質問などに対する対応」に書かれているように、① まずは「サブブック」をよく確認すること、もう一度読んでみることを提案します。それでもわからないようであれば、(以下②と③は上記「実施マニュアル」には「困っている状況を確認する」としか書かれていないのですが、例えば)② 「サブブック」の例の箇所、「4ページの(4)」を読んでみることをお伝えします。たいていの方は、ここで「あっ」という顔をされます。

しかし、それでもなおピンとこない方もいらっしゃいます。③ 「サブブック」の「4ページの(4)」を一緒に読んでみることを試し、④ それでも難しいようなら、「実施マニュアル」に書かれているとおり、エンターキーによる各セルの確定を助言してしまってもよいかもしれません。いずれにせよ、情報のより簡素な提示方法から少しずつ、あるいは段階的に手厚い提示方法に移行することが(※)、利用者の作業遂行力や複雑な課題への理解力、あるいは得意な作業、不得意な作業などをアセスメントするうえで大事なことになります。

加えて、このポイントへの着目は、実はポイント1で見た、その方が「サブブック」を読むことができているかということをより詳細に確認するポイントになりえます。①や②の段階で先に進めるようになるのなら、ちょっとド忘れしただけかもしれませんし、最初に読んだときは具体的に想像できていなかったことが、実際に操作することで理解に至ったということかもしれません。しかし、③や④の段階であれば、「読む」から一歩進んで「理解する」ということに困り感がある方かもしれません。

もちろん、できなかったことと一対一対応で原因や障害特性が特定できるわけではないことは、皆さんもご存じのとおりです。ただ、このような観察を積み重ね、そのほかの情報と組み合わせて、対象となる利用者の「立体的な」理解につなげることが肝要だと思っています。

※ 作業の指示について、より簡単な方法から始め、徐々に指示の仕方を手厚いものに変え、その人に最適な指示方法を見出すという教示方法を「システマティック・インストラクション」といいます。ここでの表現は、その考え方を参考にしました。MWSに関わる「システマティック・インストラクション」の説明は、以下の文献の pp. 76~80 などをご参照ください。

ポイント3.エラー分析ってなに?

さて、利用者の方が“「OK」ボタンが出ない”などを乗り越え、与えられた量の課題を終えたとします。初回のチャレンジならへとへとになっている方もいらっしゃるでしょう。しかし、支援者にとっては、ここからが本番です。利用者の方が全問正解なら必要ないかもしれませんが、もしいくつかの不正解が観察されたなら、それがどのようなエラーによるものであるか、確認していただきたいからです。これを「エラー分析」と呼ぶこととします。

ところが、「実施マニュアル」で設定したエラーは24あり、「エラー分析」はやみくもに行っても時間がかかりすぎてしまい、効率的ではありません。そこで、任意の期間に実施した試行の全体的な傾向やそこで見られた主なエラーを、エクセルファイルで出力される集計表・グラフで簡単に確認します(図3参照)。そこで特に気になるエラーなどに目星をつけて、そのエラーがどのように生じるか、詳しく検討することにします。

MWS「給与計算」の結果を集計表とグラフで示すエクセルファイル
図3 エクセルファイルで全体の結果を確認する

エラー分析の準備

さて、「エラー分析」を行うにあたり、さしあたって用意するものは次の4つです。

  • 1つは、「実施マニュアル」の「『給与計算』で想定されるエラー内容」です。「健康保険料」や「厚生年金保険料」など8つの入力項目で見られる計24個のエラー項目を定義しています。
  • もう1つは、「結果詳細」です。各試行について、入力項目の正答と誤答を確認できるシートです。出力の仕方は、『ワークサンプル幕張版 OAWork Ver. 4.0(訓練版)実施マニュアル』などを参照してください。
  • 後の2つは、「給与計算」の実施において利用者の方が使う「サブブック」と…
  • 「別添資料」です。〔※「別添資料」は、「健康保険料額表」など、「給与計算」の作業に必要な5つの表を収めた資料で、「給与計算」のセットに含まれます。〕

「結果詳細」を読んでみよう:偽りのエラーと真のエラー

「結果詳細」は、図4に示した表のような形で出力されます。正答と利用者の方の入力結果(「あなたの入力した内容」)が並んで示されます。入力内容が正答の値と異なる場合、そのセルの色がピンクに塗りつぶされます。したがって、エラー分析の際は、この部分を見ればよいということになります。

MWS「給与計算」の結果詳細
図4 「結果詳細」を読んでみよう

図4に示した「結果詳細」を検算してみます。ピンクに塗りつぶされ、誤答とされている「所得税額」は、正答が「2610」であるのに対し、入力した数値は「2616」です。「別添資料」の表5「給与所得の源泉徴収税額表」(要するに所得税額表)で、条件に合う所得税額を探してみると、該当のセルには「2610」とありました。その周りを見渡しても「2616」という数字はないので、おそらく、1の位の0と6を取り違えた、転記のミスでしょう。

一方、ピンクに塗りつぶされたもう1つの項目である「差引支給額」は、「サブブック」の1ページを読むと、「総支給額」から「控除額」を引いた値であり、「控除額」は「所得税額」を含む4つの値を足したものであることがわかります。そこで、誤答した「所得税額」で「差引支給額」を求めてみると、ここだけ見れば正しく計算されています。

この「差引支給額」は、「所得税額」のミスがあることで、「控除額計」が正しく計算されずに誤答とされてしまったのです。この場合の「所得税額」のエラーをここでは「真のエラー」と呼び、「差引支給額」のエラーを「偽りのエラー」と呼びましょう。「給与計算」の「エラー分析」では、この「真のエラー」について、検討を行います。

通常、「エラー分析」では、エラーが多いポイントなどから、上記のように取り出した「真のエラー」が、利用者のどのような行動によって生起したかを考え、作業特性を明らかにしていきます。しかし、これには検算したり、エラーの原因を特定したりと、そこそこ時間がかかります。1人の利用者に時間をかけられる場合や支援初期などに実施する意義は大きいように思いますが、そうでない場合はやはり丁寧な分析は厳しいかもしれません。

そこで、特徴的なエラー項目をあらかじめ知っておくということも、支援者の取りうる選択肢の1つかもしれません。次に、特徴的なエラー傾向と、その代表的なエラー項目を解説します。

特徴的なエラー項目

ポイント1で紹介した調査研究報告書No. 145では、たくさんあるMWS「給与計算」のエラーに、2種類の傾向がある可能性を指摘しています。すなわち、1つは「単発型」、もう1つは「反復型」といえる2つのエラーのパターンです。以下で、例を挙げて比べてみましょう。

単発型の典型は、「健康保険料」の「表の選択エラー」です。これは、【1】画面の指示文で支給月を確認したら、【2】別添資料から対応する表を選ぶという、2ステップを踏むだけです。

一方、反復型の典型は「課税対象額」の「通勤手当エラー」です。これは、【1】画面の指示文で通勤手段を確認、【2】画面の支給項目から通勤手当の額を確認、【3】サブブックで通勤手当の非課税限度額を確認、【4】非課税となる通勤手当の額を計算という、4ステップを、注意を移動させながら踏んでいかなければなりません。

これは、仮説にすぎませんが、単発型エラーは、作業工程が少なく、注意を向ける対象を切り替える回数も多くありません。それに対し、反復型エラーは、もちろんミスなく完遂できる人もいますが、やはり作業工程が相対的に多く、注意を向ける対象を切り替える回数も多くなっています。ここから考えられることは、前者に比べ、後者は認知的過程に大きな負荷がかかっており、ステップに抜けが生じたり、注意を向ける対象を取り違えたりすることが増えると言えるでしょう。

以上をまとめると、次のようになります。

  1. 多くの人が1人につき1回、2回などの少数回発生させることが多く、繰り返しの発生は少ないエラー(単発型エラー)。「健康保険料」の「表の選択エラー」など。
  2. 少数の人が1人につき7回、8回など、多数回発生させることがあり、繰り返しの発生が観察されるエラー(反復型エラー)。「課税対象額」の「通勤手当エラー」や「所得税額」の「参照元値エラー」など。

さらに、単発型であれ反復型であれ、これらの作業工程を一度で覚えてしまうことは、通常は困難です。そこで、当然、サブブックを毎回確認しながら作業をするわけですが、反復型はその都度誤読を重ねているとも考えられます。このことは、ポイント1、ポイント2でも見た、サブブックとの向き合い方ともかかわってきます。

単発型のエラーは、ちょっとした不注意で生じることが多く、たいていの場合は特別な対処は必要ないものと考えられます。ただし、単発型のエラーが頻発する場合は、注意の持続や切替などに特徴が見られるかもしれません。

一方、反復型のエラーは、いくつかある作業のステップを飛ばしたり、注意を向ける先を誤り数値の正答とは異なる数値を特定してしまったり、計算の仕方を間違えたりと、手続に関するエラーが多いと考えられます。アセスメントのタイミングで、反復型のエラーが見られる場合は、ポイント1、ポイント2で見てきたような、サブブックの読み方や理解の仕方を確認してみる必要があるかもしれません。

ただし、反復型のエラーもケアレスミスにより単発で生じることがあり、実際は特別な対処が必要ない場合もあるため、利用者が気になるエラーをしていると感じた場合は、「結果詳細」を印刷して眺めてみるなど、簡単なものでよいので、「エラー分析」を行うことをお勧めします。

エラーの傾向について、「単発型」と「反復型」の2種類をご紹介しましたが、全24種類のエラー項目がきれいにこの2つに分類されるわけではありません。また、この2種類の傾向が、「給与計算」のエラー傾向のすべてというわけでもありません。現状、確認できているエラー傾向が「単発型」と「反復型」の2種類であり、一部のエラー項目はそれらのエラー傾向のどちらかと親和性が高いという程度のものです。この領域は、今後さらに探求されるべきものと考えています。

おわりに

ここまで、MWS「給与計算」で行うアセスメントの3つのポイントを、ごく簡単に説明してきました。本稿では、3つのポイントを別々に扱いましたが、実は、サブブックを読むという点ではそれぞれが関係しあっているともいえます。ポイント1でサブブックに対する姿勢、ポイント2で読みや理解の傾向、ポイント3でそれらのエラーへの現れとして検討することもできるかもしれません。

いずれにせよ、各ポイントを見て、それだけで何かを判断することは非常に危険で、他のアセスメントとのバッテリーも考慮したうえで、多角的に判断することが重要です。また、ポイント3は、私自身も十分に整理できていない点であるため、わかりにくい部分はあったかと思います。機会があれば、知見を増やし、再度記事が書ければと思っております。