目次▼
測れないものに価値がない、のではない
「計測できないものは管理できない」はデミングの逆の主張として広まった誤引用である。SMART目標やKPI崇拝の実害と、それが覆い隠しているものについて。
「測れないものは管理できない」という一文を、経営書やスライド資料で見かけたことのない人は少ないだろう。多くの場合、この言葉にはW・エドワーズ・デミングの名前が添えられている。品質管理の父であり、戦後日本の製造業に統計的手法を持ち込んだ人物の権威を借りて、この標語は数値目標の絶対性を裏付ける根拠として機能してきた。KPIを設定せよ、SMART目標を立てよ、達成度を可視化せよ——こうした助言の背後には、たいてい暗黙のうちにこの一文が控えている。測れるものだけが管理の対象になり、管理の対象になったものだけが価値を認められる。この三段論法は、あまりに自然に流通しているため、誰もその出どころを疑わない。
ところが当のデミングは、著書『Out of the Crisis』(1986年)の中で、これとほぼ正反対のことを書いている。統計学者ロイド・ネルソンの言葉として、「組織の経営に必要な最も重要な数字は、知られておらず、知りえない」を引き(20ページ)、七つの致命的な病の五つ目に、知られていない、知りえない数字をほとんど考えず、目に見える数字だけで経営することを挙げた。可視化された数字だけで組織を動かすことそのものを、デミングは病理として名指ししていたのである。後年の著書『The New Economics』(1993年)には、もっと直接の一節がある。「測れなければ管理できないと考えるのは誤りだ。高くつく神話である」(35ページ)。デミングは終始一貫して、数値化への懐疑を手放していない。
この誤帰属がどう生まれたのかは、はっきりとは辿れない。手がかりはある。デミング研究所のブログは、この短い形が『The New Economics』の一文の一部を切り出したものだと指摘している。同じブログは、デミングがデータの活用を強調し、PDSAや管理図といった道具を広めたことが誤解を招いたのだろうと推測している。皮肉なのは、この誤引用自体が、計測崇拝という考え方がどれほど検証抜きで流通してきたかを、そのまま体現している点である。誰も原典に当たらないまま、権威の名前だけを借りて数値目標を正当化する——それこそが、この記事で扱う現象の縮図になっている。
もっとも、この標語が張り付けられる権威はデミング一人ではない。ビジネス書や講演では、同じ文言がピーター・ドラッカーの名で語られることも珍しくない。だがドラッカー研究所のサイトに載った寄稿(ポール・ザック、2013年)は、この格言はドラッカーの言葉として広く引かれているが、彼は実際には言っていない、と書いている。ドラッカーが『The Effective Executive』(1966年)で論じていたのは、知識労働の成果は肉体労働のように量では測れないという懸念だった(だから貢献という別の物差しが要る、というのが同書の立場だ)。量で測ることの限界を説いた人物の名前が、数値化を正当化する標語の看板として使い回される——デミングの場合とよく似た倒錯である。
出どころをさらに遡ろうとすると、似て非なる別の標語が絡んでくる。「測るものは管理される」という格言である。2008年、英オブザーバー紙のコラムで、サイモン・コーキンはこの決まり文句を「生まれたときに絞め殺しておくべきだった」と書き、本来の命題はこうだと続けた。「測るものは管理される――たとえそれを測り管理することが無意味であっても、組織の目的を損なうとしても」。コーキンが同じコラムで名前を挙げたのが、1956年に『Administrative Science Quarterly』誌の論文「Dysfunctional Consequences of Performance Measurements」で、数字への還元がもたらす逆機能を論じた経営学者V・F・リッジウェイだった。短い形はコーキンより前から流通しており、2000年にはすでに、広く使われている文言としてそれを論じた論文がある。批判の側が完全形を示したのは、あとからなのだ。短い形が留保を欠いたまま流通している点では、デミングの一文の一部が切り出された誤引用と似ている。ただし順序は逆で、こちらでは留保のほうが後から足された。
デミングが名指しした「七つの致命的な病」のうち、可視化された数字だけに頼る経営は一項目にすぎない。残りには、短期利益の偏重や、業績評価・人事考課(デミングは目標管理も同じ害をもたらすとした)も並んでいる。数字だけを見て経営することが病だとされたのは、数字が嘘をつくからではない。数字は、それが切り取った範囲については正確でありうる。問題は、切り取られなかった範囲——顧客が製品をどう体験しているか、従業員が明日も働き続けたいと思えるかどうか——が、報告書のどこにも現れないまま、意思決定から静かに脱落していくことにある。デミングの懐疑は、統計そのものへの不信ではなく、統計が覆いきれる範囲についての見立ての甘さへの不信だったと読むほうが正確だろう。
目標を具体的にするほど、視野は狭くなる
数値目標そのものに実害があるのか、という問いに正面から答えた研究がある。オルドニェス、シュワイツァー、ガリンスキー、バザーマンによる2009年の論文「Goals Gone Wild」(Academy of Management Perspectives誌)である。この論文は、目標設定研究の分野で長らく前提とされてきた「具体的で挑戦的な目標ほど成果を高める」という定説に対し、その裏側で見過ごされてきた副作用を並べて見せた。狭い範囲への視野狭窄、リスク選好の歪み、非倫理的行動の増加、学習の阻害、組織文化の腐食、内発的動機の低下——これらすべてが、目標を数値化し、それを厳格に追わせることの帰結として整理されている。
論文が挙げる実例の一つが、シアーズの自動車修理部門である。同社は1990年代初め、その従業員に、時間あたり147ドルという売上目標を課した。結果として起きたのは、不要な修理の水増しと過剰請求だった。当時のシアーズ会長エドワード・ブレナンは、のちに、サービス担当者向けの目標設定の仕組みが「間違いが起きる環境を作った」と認めたと、論文は引いている。具体的で挑戦的な目標が、過剰請求を後押しした、という位置づけだ。もう一つの例がエンロンである。同社の経営陣は、破綻の直前まで売上高の目標を達成して多額の賞与を受け取っていた。報酬の専門家ソランジュ・チャラスの言葉を借りれば、「目標は達成していたが、それは間違った目標だった」。バウシュ・アンド・ロムでは、1993年、従業員が利益目標や売上目標を達成するために財務諸表を偽り、実在しない売上を計上した。この事例も、同論文で扱われている。
これらの事例に共通するのは、目標そのものが不正を命じたわけではないという点だ。目標は達成された。問題は、目標の達成が、それが本来代表していたはずのもの——顧客の信頼、事業の健全性——から切り離れて独り歩きしたことにある。
もっとも、この論文が発表と同時に無風で受け入れられたわけではない。同じ号の同じ雑誌に、目標設定理論を長年主導してきたロックとレイサムが反論を寄せている。彼らの主張は、オルドニェスらが目標設定の害の根拠を実験ではなく逸話に置いている、というものだった。引用が代表的でないこと、結果の報告に誤りがあることも挙げ、さらに、挙げられた落とし穴のほとんどは自分たちがすでに論文に書いている、と応じた。この応酬をどちらが制したかを断定するのは、この記事の役割ではない。ただ、数値目標の効用を測る研究そのものが、当の学問領域の内部でさえ一枚岩ではないという事実は覚えておいてよい。目標設定を推奨する側にも、それを疑う側にも、それぞれの立場を支える相応の論拠がある。単純にどちらか一方を「科学的に証明された結論」として持ち出すことのほうが、両者の議論の厚みを裏切っている。
測定が目標になった瞬間に起きること
この切り離れを法則として定式化したのが、経済学者チャールズ・グッドハートである。1975年、英国の金融政策の経験を論じた論文の中で、彼はある観察を残した。観察された統計的な規則性は、それを制御のために使おうと圧力をかけた途端、崩れていく傾向がある、というものだ。後に、人類学者マリリン・ストラザーンの1997年の論文の言い方として、「測定が目標になった瞬間、それは良い測定指標であることをやめる」という簡潔な形でよく引かれ、グッドハートの法則として広まった。社会科学者ドナルド・キャンベルも、1976年の論文「Assessing the Impact of Planned Social Change」の中で、独立に似た指摘をしている。ある定量的な社会指標が社会的な意思決定に使われれば使われるほど、それは腐敗圧力にさらされ、本来監視すべきだった社会的過程そのものを歪めていく、という主張だ。キャンベルの論文は1976年の刊行だが、同じ考えの核は1969年の論文にすでに現れており、キャンベルのほうが先だとする指摘もある。しかし、両者が別々の分野から同じ現象に行き着いたこと自体が、この現象が広く見られることをうかがわせる。金融政策の分析から出てきた法則と、社会実験の評価から出てきた法則が、業種も国も専門分野も異にしながら同じ結論に収斂したという事実を見ると、この歪みは特定の組織や特定の産業の欠陥ではなく、測定という行為そのものに内在する性質なのかもしれない。もっとも、キャンベル自身は、少なくとも米国については、と範囲を限り、例証の多くは逸話だと認めていた。
この法則が抽象論でないことは、イギリスの救急外来における事例が示している。2000年、当時の政権は、2004年末までに救急外来で4時間を超えて待つ患者をなくすという目標を掲げた。翌年からは病院ごとの「星評価」に組み込まれ、成績の悪い病院は名指しで公表され、管理者は解任されるリスクも負うことになった。救急外来で4時間を超える患者の割合は、2002年の23パーセントから2004年4〜6月には5.3パーセントまで下がったと会計検査院は報告している。だが政策研究者のビーヴァンとフッドが2006年にまとめた記録によれば、その裏では、待ち時間が4時間ちょうどの手前に集中し、測定期間だけ人員を増やし、予定手術を取りやめ、さらに4時間以内に診られると見込めるまで患者を救急外来の外の救急車の中で待たせる、といった対応が報告されていた(別の「12時間以内に入院させる」目標に対しては、廊下に置いたストレッチャーを「ベッド」と数える例もあった)。救急車が外で足止めされたことで、ほかの重症者への出動が遅れた可能性も指摘され、死亡例も報じられている。二人は、引用した研究を救急外来以外も含めて見渡すと、目標をめぐるこうした数字合わせ(ゲーミング)は提供者の7〜33パーセント程度という無視できない少数派で起きていたようだ、と書いている(33パーセントは、救急車の応答時間の記録を8分未満に補正していた救急隊の割合)。目標が測定を導いていたはずが、いつの間にか測定が目標を作り替えていた。
似た現象は、犯罪統計の世界でも報告されている。イギリス下院の行政特別委員会が2013年から翌年にかけて開いた調査では、現職の巡査が、強盗を「ひったくり」の窃盗に、住居侵入を器物損壊に格下げして記録する例があったと証言した。委員会は報告書で、こうした誤記録につながる態度は幹部も含めて根づいていると結論している。同じ公聴会で、元主任警部のロジャー・パトリックは、数字をよく見せる手口として4つの隠語を挙げたと報じられている。本人の博士論文(2009年)によれば、「カフィング」は届け出のあった犯罪を統計から消すこと、「ノディング」は見返りと引き換えに余罪を認めさせて検挙率を稼ぐこと、「スキューイング」は指標になる分野へ人員を偏らせること、「スティッチング」は証拠が足りなくても処分に持ち込むことである。犯罪が減ったのではなく、犯罪の数え方が変わっただけだったという疑いは、統計を疑う理由として十分に具体的である。標準化テストの点数を上げるために授業がテスト対策そのものに置き換わる現象も、教育の分野で指摘されている構図であり、根は同じところにある。
この種の歪みが最も血なまぐさい形で現れた例が、ベトナム戦争における「敵の死体数」だろう。当時の国防長官マクナマラは、戦争を数値で測るよう軍に求めた。戦争は消耗戦の関数であり、米軍側の戦死者数より敵側の死体数が多ければ、数学的には勝っている——この論理のもとで、死体数が部隊の成果を示す数字として扱われた、と言われる。数字の上では優勢が続いているように見えたにもかかわらず、戦局は好転しなかった。1991年、湾岸戦争の最中のロサンゼルス・タイムズ紙は、ベトナムで勤務した米軍の将官173人を対象にした調査を紹介している。1977年に雑誌で発表されたこの調査では、将官の61パーセントが、死体数は「ひどく誇張されていた」と考えていた。指標が実態を映す鏡である限りにおいて指標は有用だが、指標を上げること自体が任務の目的にすり替わった瞬間、鏡は割れる。これはグッドハートとキャンベルが別々の文脈で警告していたのと、まったく同じ構造の失敗である。
目標が理解の代わりを務め始める
ここまでの事例は、いずれも組織の外側、あるいは組織と社会との接点で起きる歪みである。目標が現場の行動を歪める話であり、統計を扱う担当者が上からの圧力に応じて数字を作り替える話でもある。だがもう一段深いところ、管理者本人の認知の内側で起きている現象がある。管理者自身が、指標を目標の「代理」として使っているうちに、指標の達成そのものを本来の目標だと思い込んでしまう現象だ。会計学ではこれをサロゲーション(surrogation)と呼ぶ。チョイ、ヘクト、テイラーによる一連の実証研究——2012年の『The Accounting Review』誌掲載論文「Lost in Translation」と、2013年の『Journal of Accounting Research』誌掲載論文「Strategy Selection, Surrogation, and Strategic Performance Measurement Systems」――が、この現象を実験的に確認している。
チョイらは、この現象を説明する枠組みとして、心理学者カーネマンらの「属性代替」(attribute substitution)と呼ばれる認知の仕組みを借りている。人は、複雑で捉えにくい対象——たとえば「この事業戦略はどれだけうまくいっているか」という問い——に直接答えることが難しいとき、無意識のうちにもっと手に入れやすい代替の指標——たとえば四半期の顧客満足度スコア——に答えをすり替えてしまう。しかも、この代替が起きたこと自体に本人が気づかない場合が多い。
2012年の論文の実験では、大学院生がゲームの中で、与えられた戦略に沿って仮想の生物を設計した。その後、報酬とは関係のない選択をさせると、単一の指標に報酬を連動させた参加者は、固定給の参加者より、その指標を戦略そのものとして扱う選択をしやすかった。三つの指標に報酬を分けた参加者では、この傾向は弱まった。ただし、機会費用を伴う選択では差がはっきりせず、三つの指標の参加者にも、固定給の参加者と同じ程度の置き換えは残っていた。この結果を「指標を増やせば解決する」という処方箋として読むのは早計だろう。指標が複数になれば、今度はそれらの間でどうトレードオフを捌くかという、また別の判断が発生する。2013年の続く研究は、単一の指標に報酬を連動させた状況のまま、戦略への関わり方を変えた。自分で戦略を選んだ参加者では置き換えが減ったが、与えられた戦略の長所と短所を書き出して熟慮しただけの参加者では減らなかった。指標が判断を乗っ取るかどうかは、指標の数だけでなく、評価する側がその戦略を自分で選んだかどうかにも左右される、ということになる。
ここで一つ、慎重に区別しておく必要がある。管理者が事業の本質を理解する自信の乏しさそのものが直接サロゲーションを引き起こすという因果関係を明示的に検証した研究は、今回確認できた範囲では見当たらなかった。確認できたのはあくまで、対象への直接的な理解が「アクセスしにくい」属性であるほど、より手近な代替指標への置き換えが起きやすいという、認知プロセスの一般的な傾向である。事業を深く理解していれば理解しているほど、指標がその代わりを務める必要は薄れる——この推論は成り立つとしても、それを裏づける直接の実証データを断定的に紹介することは避けたい。確認できた事実の範囲でとどめておくべき論点である。過剰な一般化は、ここで扱っている問題そのものと同じ失敗——手に入れやすい説明を、検証済みの結論であるかのように扱う失敗——を繰り返すことになる。
測れない資源は本当に存在するか
ここまでの議論に対しては、「では計測できない価値とは具体的に何なのか」という反問が当然に成り立つ。精神論に逃げずにこの問いに答えるとすれば、手がかりの一つは、哲学者マイケル・ポランニーが1966年の著書『The Tacit Dimension』で示した暗黙知の概念である。ポランニーは「われわれは語れるより多くを知っている」という一節で、人が明示的に言語化できない形で持っている理解のあり方を指し示した。知人の顔を百万人の中からでも見分けられるのに、どうやって見分けているかは語れない、という例がその典型として挙げられるが、同じ構造は組織の中の専門性や判断力にも当てはまる。ベテランの技術者が「なんとなくおかしい」と感じる勘、長年の付き合いから生まれる取引先との信頼、危機の際に誰が誰を頼るかという組織内の暗黙の序列——これらは定義上、数値の列に落とし込むことが難しい。落とし込めないからといって、それらが経営資源として機能していないわけではない。
むしろ厄介なのは、これらの資源が失われるときの現れ方である。信頼や専門性は、失われつつある最中には数字にほとんど現れない。売上も、顧客満足度のアンケートも、しばらくの間は前年並みの水準を保ち続けることが珍しくない。ベテランが去り、暗黙の知見の継承が途切れ、現場の判断の精度が静かに落ちていく過程は、たいていの場合、四半期の指標が急落するよりずっと前から進行している。指標に異変として現れる頃には、失われた資源はすでに取り返しのつかない距離まで遠ざかっている。測れないものを軽んじる経営が痛い目を見るのは、たいてい指標が悪化してからではなく、指標がまだ健全に見えているうちに手を打ち損ねたあとである。
ただし、この論点を安易な精神論に流してしまうと、今度は逆方向の粗雑さに陥る。「数字より人の気持ちが大事だ」という主張は、それ自体もまた検証を経ていない標語であり、このサイトが警戒してきた根拠なき断定と同じ構造を持つ。暗黙知が実在するという主張と、暗黙知を理由にあらゆる説明責任から逃れてよいという主張との間には、埋めがたい距離がある。信頼や士気が定量化しにくいことは、それらについて何も語れないことを意味しない——語り方が、四半期のダッシュボードとは違う形式を要求するというだけの話である。
実際、暗黙知という概念は、計測不能性を免罪符として使うための道具ではない。ポランニーが退けたのは、知識から個人的な要素をすべて取り除けるし、取り除くべきだという、近代科学の客観性の理想だった。それを徹底すれば知識そのものを壊すことになる、というのが彼の主張である。言葉にできない技能は、弟子が師の動きに入り込むことで伝わり、科学者どうしが互いを見張り合う仕組みの中で保たれていく、と彼は考えた。計測できないことと、誰にも確かめられないことは、同じではない——これは、そこから先の私の読みである。
測れないものではなく、測る力がないだけかもしれない
ここまでの糸をたぐり寄せると、一つの仮説が浮かび上がる。「計測できないものには価値がない」という言い切りは、実のところ「この価値を評価する能力が自分たちにはない」という別の事実の言い換えになっているのではないか、という仮説である。事業の本質的な価値を見極める判断力——それが技術の将来性なのか、顧客との関係の深さなのか、組織の暗黙知の厚みなのか——を自前で持っている管理者は、指標をあくまで参考情報として扱う余地を持つ。持たない管理者にとって、指標は判断の代わりを務める唯一の足場になる。目標が理解の代替物として機能し始めるという先述の見立ては、この構図とよく符合する。難しいのは、この仮説を個々の管理者の資質の問題として片づけてしまうと、話がまた別の単純化に転じてしまう点である。SMART目標もKPIダッシュボードも、単体では中立な道具にすぎない。それが判断の代替物として使われるか、判断を支える補助として使われるかは、道具そのものではなく、道具を扱う手の側の話である。
数値目標を疑うことは、数値目標を全廃せよという主張ではない。グッドハートもキャンベルも、測定そのものを否定してはいない。彼らが指摘したのは、測定が支配的な目標へと格上げされた瞬間に、測定と現実の間の対応関係が壊れ始めるという、もっと限定された現象である。デミングが「知られていない、知りえない数字」と呼んだものも、数字を放棄せよという意味ではなかった。むしろ彼は、知りえない数字を勘定に入れながら経営することの難しさを、正面から引き受けようとしていた。
その難しさを引き受ける代わりに、測れるものだけを実在として扱い、測れないものを「価値がない」と切り捨てる方が、はるかに楽である。楽なやり方には、副産物として説明責任からの離脱という利点までついてくる。数字が悪化すれば数字のせいにできるし、数字に表れない部分の劣化については、そもそも管理の対象外だったのだから責任の問いようがない。楽さの側に流れた結果を、科学的な装いで正当化する言葉として、「測れないものは管理できない」という誤引用ほど都合の良いものはなかったのかもしれない。この言葉を持ち出すとき、話者は自分がデミングという権威を引き継いでいると感じているだろう。だが実際に引き継がれているのは、デミングの見識ではなく、判断を先送りにするための便利な口実のほうである。判断を先送りにできる限り、その先送りが自分の理解の限界に由来するのか、対象そのものが本当に測れないのかを、誰も問わずに済む。冒頭で見た誤引用が長く生き延びてきたのも、おそらくこの便利さゆえだろう。
数値化できない事業の側面に向き合うには、それを扱えるだけの経験と語彙が要る。技術の将来性を見立てるには技術そのものへの理解が要り、顧客との関係の厚みを見立てるには顧客の現場に立ち会った時間が要る。そうした経験も語彙も持たないまま管理の立場に置かれた者にとって、ダッシュボードの数字は唯一頼れる足場になる。数字にすがること自体を責めるのは酷かもしれない。誰しも、自分の理解が届かない領域については、何か手近な足場が欲しくなる。だが、その足場のなさを「これが唯一科学的なやり方だ」という顔で語ることと、「自分にはこれしか読み取れない」と認めることの間には、はっきりとした差がある。前者を選び続ける限り、測れないものは永遠に「価値のないもの」の棚に置かれたままになる。棚に置かれたものが本当に無価値だったのか、それとも棚に並べる目を持たなかっただけなのか。その問いへの答えは、少なくとも指標のダッシュボードには出てこない。
出典
- Deming, W. Edwards (1986) “Out of the Crisis”, MIT CAES. 20ページ(ネルソンの言葉の引用)、97-98ページ(七つの致命的な病)、102ページ(目標管理)。全文検索で照合し、頁画像は未確認
- Deming, W. Edwards (1993) “The New Economics for Industry, Government, Education”, MIT CAES. 35ページ(全文検索で照合)
- Hunter, John (2015) “Myth: If You Can't Measure It, You Can't Manage It”, The W. Edwards Deming Institute Blog
- Drucker, Peter (1966) “The Effective Executive”(全文検索で照合)
- Zak, Paul (2013) “Measurement Myopia”, Drucker Institute
- Ridgway, V. F. (1956) “Dysfunctional Consequences of Performance Measurements”, Administrative Science Quarterly, 1(2), 240-247.(書誌のみ確認。論文本文は未入手で、Caulkin の言及による)
- Caulkin, Simon (2008) “The rule is simple: be careful what you measure”, The Observer, 2008年2月10日
- Emiliani, M. L. (2000) “The false promise of ‘what gets measured gets managed’”, Management Decision, 38(9), 612-615.(抄録で確認)
- Ordóñez, Schweitzer, Galinsky, Bazerman (2009) “Goals Gone Wild: The Systematic Side Effects of Overprescribing Goal Setting”, Academy of Management Perspectives, 23(1), 6-16.(ワーキングペーパー版で照合。誌面版は未確認)
- Locke, Latham (2009) “Has Goal Setting Gone Wild, or Have Its Attackers Abandoned Good Scholarship?”, Academy of Management Perspectives, 23(1), 17-23.(抄録と再反論から間接的に確認)
- Goodhart, Charles (1975) “Problems of Monetary Management: The U.K. Experience”, Papers in Monetary Economics, Vol. I, Reserve Bank of Australia.(原典は未入手。書誌は二次資料で確認)
- Strathern, Marilyn (1997) “‘Improving ratings’: audit in the British University system”, European Review, 5(3), 305-321.(書誌のみ確認。本文の言い換えは二次資料による)
- Campbell, Donald T. (1976) “Assessing the Impact of Planned Social Change”, Occasional Paper #8, Public Affairs Center, Dartmouth College.(Evaluation and Program Planning, 2(1), 67-90, 1979 に再掲。原文は照合済み)
- Campbell, Donald T. (1969) “Reforms as Experiments”, American Psychologist, 24(4), 409-429.(Rodamar による指摘。原文は未確認)
- Rodamar, Jeffrey (2018) “Campbell versus Goodhart”(題の前半は省略), Significance, 15(6).(二次資料。先行性の指摘による)
- Choi, Hecht, Tayler (2012) “Lost in Translation: The Effects of Incentive Compensation on Strategy Surrogation”, The Accounting Review, 87(4), 1135-1163.(著者版で照合)
- Choi, Hecht, Tayler (2013) “Strategy Selection, Surrogation, and Strategic Performance Measurement Systems”, Journal of Accounting Research, 51(1), 105-133.(著者版で照合)
- Kahneman, D., & Frederick, S. (2002) “Representativeness Revisited: Attribute Substitution in Intuitive Judgment”, Gilovich ほか編 Heuristics and Biases.(Choi らの引用による)
- Polanyi, Michael (1966) “The Tacit Dimension”(全文検索で照合)
- Kempster, Norman (1991) “In This War, Body Count Is Ruled Out”, Los Angeles Times, 1991年1月31日.(1977年の将官調査の報道。調査そのものは二次情報)
- Bevan, G., & Hood, C. (2006) “What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System”, Public Administration, 84(3), 517-538.(全文で確認)
- National Audit Office (2004) “Improving Emergency Care in England”, HC 1075.(概要ページで確認。全文は未確認)
- House of Commons Public Administration Select Committee (2014) “Caught red-handed: Why we can't count on Police Recorded Crime statistics”, Thirteenth Report of Session 2013-14, HC 760.(報告書で確認。公聴会の議事録は未確認)
- Patrick, Rodger (2009) “Performance Management, Gaming and Police Practice”, PhD thesis, University of Birmingham.(4つの隠語の定義の確認に使用)
- HuffPost UK の記事(2013年11月、公聴会の報道。題名・筆者は未確認。二次情報)。隠語が公聴会で挙げられたことの確認に使用
