法治的测量:世界正义工程法治指数研究
发布时间：2015-06-03 来源: 北大法律信息网 点击:
次
|
法治的测量:世界正义工程法治指数研究 |
|
—— |
|
发布时间：2015-6-3 10:35:23 来源：北大法律信息网 |
|
|
|
|
|
你是本文第9位浏览者 |
【评论】【发表评论】 【字体：大 中 小】【打印】【关闭】 |
|
|
|
|
|
|
孟 涛
【中文摘要】法治指数是对法治理念的指数化塑造。世界正义工程基于实证化的法治理论和统计指数方法论，对法治理论进行了概念化和操作化界定，发展出了评估法治效果的因子体系和具体变量，目前测量法治的九个方面：有限的政府权力、腐败的缺席、开放的政府、基本权利、秩序与安全、监管执行、民事司法、刑事司法、非正式司法。变量数据来自调查和事件统计，专业人士和广大公众均为评估主体，指数得分通过权重的均等分配和线性计算法加总而成；指数的信度、协调性和稳健性等等也接受了外部统计审查，以保障其科学性和公信力。该法治指数完整地阐释了法治定量评估的运行过程，但是目前存在调查取样不足的问题。该指数的建构方法值得中国法治评估借鉴。
【中文关键字】法治评估；法治测量；法治指数
在法治评估和法治指数逐渐风靡中国的大背景下，世界正义工程（the World Justice Project，简称WJP）法治指数成为国内高度关注的对象。如今一提起国际法治评估，人们首先想到的往往就是这一指数。作为当前唯一一个专门测量法治的国际指数，WJP指数具有测量全面、数据新鲜、编制严谨、透明度高的特点。最新的2014年报告自今年3月5日发布以来，已有20多种语言予以介绍。国内法学界也对WJP进行了一定程度的研究，特别是在法治指标体系方面[1]。这些研究开阔了国人的视野，为中国法治评估提供了借鉴。但是，当前的研究也存在缺陷：没有充分研究该指数的法治理论基础和评估测量方法，尤其是遗漏了法治指数的审查方法。事实上，WJP法治指数蕴涵着更大的学术价值：它提供了一个完整的、异于定性评估的定量评估范例，我们可以从中提炼出一套系统完整的法治定量评估理论，为中国法治评估奠定理论基石——这正是当前中国法治评估最急需的。为此，本文将基于迄今为止WJP的所有公开材料和其他研究文献，全面研究WJP法治指数的发展源流、理论基础、因子体系[2]、测量方法和统计审查，同时构建法治定量评估的方法论，以期有助于中国法治指数与法治评估的科学发展。
一、法治指数的渊源
法治理论是法治指数诞生的前提。自从十九世纪以来，各种法治理论就层出不穷，如今早已蔚为大观，而法治指数却是较为晚近的事物，其诞生至今不到二十年，总量屈指可数。在法治指数的发展历程中，相比于林林总总的法治理论而言，指数方法的贡献是决定性的：法治指数是对法治思想的指数化塑造。研究、设计法治指数，要按照指数建构的逻辑而展开。所谓指数（index），是以累加或合并的方式，基于某个概念的若干指标而合成的一个数值。指数是一种描述性工具，可以数值的简单形式表征复杂的现实状况，GDP、CPI、IQ等等都是其中的著名代表。早在1764年，意大利人卡利就使用指数来描述物价涨跌情况[3]。二十世纪初期，经济领域开始大量使用指数。二战以后，指数的影响扩大到社会领域，其结果就是著名的“社会指标运动”（social indicator movement）[4]。与经济社会领域指数繁荣兴旺的局面相比，政治法律领域的指数出现相对较晚，迄今也不过二十多年的历史[5]。出现这种局面的原因是：经济社会领域本身常常使用数字，容易开展调查；政治法律领域深受抽象价值影响，这些理念本身就含糊笼统，测量更是不易，官员也对调查持相对保守态度。不过，尽管如此，指数运动在政治法律领域的发展仍然势不可挡，如今，各种民主指数、自由指数、治理指数、清廉指数、人权指数等等已如雨后春笋地涌现出来。
世界上第一个法治指数诞生于1996年，由世界银行三位经济学家Daniel Kaufmann、Aart Kraay和Pablo Zoido-Lobaton开发而出，附属于全球治理指标（Worldwide Governance Indicators）之下。此后，自由之家（Freedom House）、贝塔斯曼基金会（Bertelsmann Foundation）等组织也开始测量法治。不过，这些法治指数都附属于“治理”、“自由”、“转型”等等概念之下，存在着内涵狭窄、数据来源有限等等问题。到了2006年，时任美国律师协会（ABA）主席、微软公司首席律师诺伊康（William H. Neukom）发起了名为“世界正义工程”的计划，开始创建第一个国际法治综合指数。这一指数参考了世界银行的“全球治理指标”和“做生意”（Doing Business）指标、透明国际的“腐败感知指数”（Corruption Perceptions Index）、自由之家的世界自由指数、美国律师协会法治倡议者（ROLI）的司法建议和其他制度建议、非洲治理易卜拉欣指数（Ibrahim Index of African Governance）和贝塔斯曼转型指数（Bertelsmann Transformation Index）[6]。2008年7月，WJP发布了第一个法治指标体系（1.0版），并在阿根廷、澳大利亚、哥伦比亚、西班牙、瑞典和美国的大城市中进行了测试。2009年，WJP成为一个独立的、非营利性的、跨学科的非政府组织，在美国首都华盛顿和西雅图市设立了办公地点，旨在推动法治研究、编制法治指数、促进全球合作。目前，WJP的理事会主席是美国律协主席哈伯德（William C. Hubbard），诺伊康担任CEO。
二、WJP法治指数的理论基础
法治指数是法治理论与指数方法的结合产物。与指数方法相比，法治思想的历史可谓源远流长，最早可以追溯到古希腊时期，亚里士多德等哲人已经提出了影响久远的法治观念。不过，法治理论的正式诞生，却是迟至十九世纪，有两个理论源头：英美法系的法治（Rule of Law）理论和德国法治国（Rechtsstaat）理论[7]。如今，在拉德布鲁赫、富勒、拉兹、菲尼斯、德沃金等等众多法学家，以及哈耶克等经济学家的努力下，法治理论已经衍生出了非常丰富的内容。目前，全世界的法治理论被归纳为两大类，一是形式法治理论，只关注法律本身的形式和实施，不关注法律本身的规定内容是否符合公平正义等价值；二是实质法治理论，要求法律内容满足各种价值理念的要求[8]。WJP所立足的法治理论，不仅吸收了形式法治理论，而且采纳了最普遍的实质法治理论——以权利保障为中心的法治理论。之所以如此，是因为：单纯的形式法治只是一种“依法而治”（rule by law），真正的法治至少应该保障国际法所规范的核心人权[9]。
与法治理论内容多元、歧异纷呈相比，指数的本质属性和方法论则有着普遍的稳定共识。指数的属性有三个：互斥性（mutually exclusive）、穷尽性（exhaustive）和单项性（unidimensionality）[10]。互斥性是指：指数的各个属性之间不能存在相互涵括或重叠的关系；指数所测量的某个事物，只能符合该指数变量的某个属性，不能同时符合两个或两个以上属性；例如，某一犯罪指数，如果包括抢劫罪、诈骗罪、金融诈骗罪等等属性，那就违背了互斥性要求。穷尽性是指：该指数测量的所有事物，都能符合该指数属性的某一个；如果我们测量人权，只测量人身权和财产权，那显然不具备穷尽性，因为还遗漏了其他类型人权。单项性是指：指数各个属性之间应该搭配恰当，所测量的都是同一个事物；例如，法治指数可以包括基本权利、有限的政府权力等等属性，如果加进了离婚率、居民人均可支配收入等等属性，那就违背了单项性要求，因为这些属性之间不协调、测量的不是同一个事物。指数的这些属性，直接规定了指数的概念化和操作化要求。在方法论方面，指数构造的各个步骤都已经具备了较为成熟的方法手段，一般不外乎发展理论框架、概念化与操作化、数据的收集与处理、权重与聚合、统计审查等等几大环节[11]。
必须指出的是，法治指数所立足的法治理论与指数方法，并非风马牛不相及的两种事物，而是有着共同的研究立场——实证主义思想。萌芽于启蒙运动时代、兴盛于十九世纪的实证主义，主张以自然科学的方法研究社会，社会领域和自然界一样遵循着各种普遍性的因果规律。指数方法就是实证主义所力倡的定量方法的典型代表。对于法治理论而言，法治指数所立足的法治理论，不是围绕着主观价值理念的传统法治理论，而是一种实证化的法治理论。这种实证化的法治理论有两个主要特征。首先，法治被视为一种客观的制度现象和实践效果，例如权力分立体制、基本权利受到保障、纠纷得到充分解决等等，并且，法治最终并不体现为某一特定具体的制度，诸如司法独立，而是体现为一系列实践效果。WJP所针对的法治，就是“实践中的法治”[12]。其次，在实证主义看来，社会是一个内在协调有序、类似于自然事物一样的、较为稳定的“有机体”，因此，实证化的法治也必须符合这些要求，是一个内部协调有序的稳定事物，不能由各种不相关的、甚至是相互冲突的成分所组成。法治的各种构成成分，要具备互斥性、穷尽性和单项性的属性。这种实证化的法治观明显不同于一些主观化的实质法治理论，后者可以由不同的异质成分构成，例如时常相互冲突的“公正”与“效益”价值。总之，正是由于法治理论与指数方法协调一致，WJP法治指数的整个环节才会显得逻辑完整严密、稳定有序可行。
三、WJP法治指数的概念化与操作化
WJP虽然选择了形式法治理论和以权利为核心的实质法治理论，但是理论不能直接得以测量，这时就需要对其进行概念化（conceptualization）和操作化（operationalization）界定，确定法治的概念和各种指标，以实现直接观察测量的目标。所谓概念化，是一个彻底想通法治理论、予以概括提炼的过程，也就是将法治从一个抽象理念变为社会科学概念，以一个定义予以反映。所谓操作化，就是将概念与一系列测量技术或程序连接起来的过程，使得概念可以通过观察、调查、统计等等方法得以测量。下面我们来看WJP的这两个过程。
（一）概念化
一个好的社会科学概念，具有如下特征：协调、简约、实用、清晰，与其他概念界限分明，易于测量[13]。在WJP提出法治概念之前，法治的概念可以说是五花八门，各自基于不同的理念和主张，其中最权威的概念是2004年联合国秘书长提出的：“对联合国而言，法治指的是这样一种治理原则：所有的人、机构和实体，无论是公共的还是私有的，包括国家自身，都必须对法律负责。而这种法律，是公开发布、平等实施、独立裁决的，并与国际人权规范和标准保持一致。法治概念还要求采取措施来保证遵守下列原则：法律至高无上、法律面前人人平等、对法律负责、公平适用法律、权力分立、参与决策、法律确定、避免恣意以及程序和法律透明”[14]。这一概念主要立基于形式法治理论，不符合WJP的理论基础。
2007年，诺伊康在上述法治理论的基础上，提出了WJP的法治概念，并经由100多个国家的上千名专家反复推敲，以摆脱法治的西方色彩，超越文化、国别、民族等等具体制约因素，最后达成的定义如下：“一个以规则为基础、由四个普适性原则支撑的系统；这四个原则分别是：一，政府及其官员、代表负有法律责任；二，法律明确、公开而稳定，保障人身安全和财产安全在内的基本权利；三，法律制定、实施与执行的程序是可接近的、公平而高效；四，审判者、律师或代理人、司法官员提供接近正义的机会，他们人员充足，能干、独立而有德性，有着充分的资源，体现了他们所服务的共同体的构成”[15]。这一定义明确、清晰，涉及主体、过程和结果等方面，相对较为全面，比较贴近社会科学的概念要求。
（二）操作化
在上述法治概念的基础上，WJP专家马克·大卫·亚格拉斯特（Mark David Agrast）发展了法治的具体指标体系：因子（factor）框架[16]。以实证研究而闻名的美国维拉司法研究所（Vera Institute of Justice），也为WJP的法治指数体系开发了一些因子[17]。2008年至今，这一因子体系先后演变出6个版本，测量的国家数量也不断扩大，具体情形如下：2008年的1.0版，包括13个因子、50个次级因子，在6个国家进行了试验，未公布具体得分；2009年的2.0版，下设16个因子、68个次级因子，测量了35个国家；2010年的3.0版，下设10个因子、49个次级因子，继续测量了上年度的35个国家；2011年的4.0版，下设9个因子、52个次级因子，测量了66个国家，中国也被纳入测量范围；2012-2013年的5.0版，下设9个因子、48个次级因子，测量了97个国家和地区；2014年的6.0版，下设9个因子、47个次级因子，测量了99个国家和地区。WJP的因子体系分为四级，在迄今公布的唯一一个完整版本——2011年4.0版——中，因子体系由9个因子、52个次级因子、76个三级因子、14个四级因子组成[18]。四级因子最后还要分解为一个个具体的变量，使其可以直接得到观察测量，2014年WJP的变量多达541个。所谓“变量”就是一个可以变化的概念，拥有不同的属性[19]。不同的属性分别指称不同的实践现象，可以不同的数值来表示，以实现法治的测量。各个版本的因子内容可参见表1：
表1 近年来WJP编制的各版法治体系的具体因子内容
WJP的因子体系一直在变动[20]。以下将根据最新的2014年6.0版因子体系，阐述该因子体系的具体内容。
因子1：有限的政府权力。它测量法治的传统要件：统治者遵守法律。为保障作为统治者的政府守法，政府需要接受立法机构、司法机构和其他法律监督机构的制约，以及容易被忽略的、非政府力量的制约。如果政府违法，那么代表政府的官员就要承担责任。此外，政府权力的移转也是统治体制的必要内容，因而权力的依法转移也要测量[21]。本因子所演绎出的次级因子有如下：政府权力被立法机关有效限制（1.1）、政府权力被司法机关有效限制（1.2）、政府权力被独立的审计审查机构有效限制（1.3）、政府官员的不法行为会受到制裁（1.4）、政府权力被非政府制衡力量有效限制（1.5）和权力依法转移（1.6）。
因子2：腐败的缺席。腐败可以直接说明政府官员滥用权力的程度或履行职务的程度，因而对于法治指数的测量而言，腐败是最佳的替代性指标。WJP测量三种形式的腐败：贿赂、公私利益的不正当影响、公共资金或其他资源的侵吞（贪污）。这三种形式的腐败，分别在行政部门、司法部门、军警部门和立法部门中得到考察。相应的次级因子有如下：行政部门的政府官员不以权谋私（2.1）、司法部门的政府官员不以权谋私（2.2）、军警部门的政府官员不以权谋私（2.3）、立法部门的政府官员不以权谋私（2.4）。
因子3：开放的政府。它测量政府的开放程度，这也是公众有效监督的基础。相应的次级因子有如下：法律是公开的、可知悉的（3.1）、法律是稳定的（3.2）、请愿权和公众参与（3.3）、经请求能得到官方信息（3.4）。前两个次级因子测量“形式法治”，具体包括法律的明确性、公开性、可接近性和稳定性，这些对于公众了解法律的内容是必需的。后两个次级因子测量公民参与的机会，包括：人民是否能向政府做出请求；拟举行的程序是否能及时通知公众、并向公众开放；公众是否能得到法律草案、执法记录等等官方信息[22]。
因子4：基本权利。它测量“实质法治”的核心内容。WJP选取“基本权利”的标准，是《世界人权宣言》、《公民权利和政治权利国际公约》、《国际劳工组织关于劳动的基本原则和权利的宣言》等等国际法文件[23]。这些文件被众多国家所批准，具有最广泛的适用性和法律效力。也最容易受到各个国家的认同。次级因子有如下：平等对待和免受歧视（4.1）、生存权利与人身安全被有效保障（4.2）、法律正当程序与被告的权利（4.3）、言论与表达自由被有效保障（4.4）、信仰与宗教自由被有效保障（4.5）、不受任意干涉的隐私自由被有效保障（4.6）、集会与结社自由被有效保障（4.7）、基本的劳动权利被有效保障（4.8）。
因子5：秩序与安全。保障安全是政府的最基本职能，安全的秩序也是法律规则得以实施的前提。该因子衡量三类威胁秩序与安全的事物：犯罪（特别是传统犯罪，如杀人、绑架、盗窃、暴力抢劫、敲诈勒索、诈骗）、政治暴力（包括恐怖主义、武装冲突、政治动乱），以及社会认可的、报复个人怨恨的暴力行为（私力救济）[24]。次级因子有如下：犯罪被有效控制（5.1）、民事冲突被有效限制（5.2）、人民无需诉诸暴力来修复个人怨恨（5.3）。
因子6：有效的监管执行。它测量规则被执行和实施的效果。这里有一个难题：规范的数量太多，执行的机构也很多，究竟选择哪些规则来衡量整体实施效果？基于跨国比较的考虑，WJP选取了所有国家都具备的四种执法场景：环境保护领域；公共卫生领域；工作场所安全领域；商事活动领域[25]。次级因子有如下：政府规章被有效执行（6.1）、政府规章的执行与实施免受不当影响（6.2）、行政程序的实施免受无理的拖延（6.3）、正当程序在行政程序中受到尊重（6.4）、政府必须对征收的财产给予充分的补偿（6.5）。这里的“规章”，包括立法机构和行政机构的规范性文件。
接近正义也是法治的核心要素。最后三个因子测量的就是这一点。因子7“民事司法”测量普通人能否通过民事司法制度和平、有效地解决纠纷。包括如下次级因子：人民能够接近并利用民事司法（7.1）、民事司法免于歧视（7.2）、民事司法免于腐败（7.3）、民事司法免受政府的不当影响（7.4）、民事司法不会被无理拖延（7.5）、民事司法被有效执行（7.6），ADR是可接近的、公正的、有效的（7.7）。因子8“刑事司法”涉及的对象相对有限，包括警察、律师、检察官、法官、罪犯等等，次级因子有：犯罪调查体制是有效的（8.1）、犯罪审判体制及时而有效（8.2）、矫正体制对于减少犯罪行为是有效的（8.3）、刑事体制是公正的（8.4）、刑事体制不腐败（8.5）、刑事体制免受政府的不当影响（8.6）、法律正当程序与被告的权利（8.7）。其中，次级因子8.7与4.3一致，具体内容包括：无罪推定，举证与质证的权利，免于随意逮捕、拘留、滥施拷打的权利，获得法律援助和翻译帮助的权利。
因子9：非正式司法。这是WJP的一个创新，考虑到了非西方国家的情形。非正式司法包括传统的、部落的、宗教的、社区的司法组织。对于正规司法制度无力解决的纠纷，以及对于无法接近或无能利用的正规司法制度而言，非正式司法可以发挥很大的补充性功能。它包括如下次级因子：非正式司法及时而有效（9.1），非正式司法是公正的、免受不当影响（9.2），非正式司法尊重、保障基本权利（9.3）。不过，测量这一因子非常困难，各个国家的非正式司法过于复杂，即使是本国国民也无法充分辨认。从2010年至今，WJP仅仅尝试测量了12个国家。由于不同国家的非正式司法差异太大，跨国之间的比较也无甚意义，因此这些调查数据只用于国内不同地方的比较，既不计入总的指数得分，也不用于国家之间的排名比较。后面的统计审查也指出，该因子与其他因子的相关性很低，不能与其他8个因子一起汇总成一个指数。
总之，WJP因子体系测量的是法治的效果，这些效果可归纳为三大方面：政府及其官员的负责程度、公民基本权利的保障程度、接近正义的程度。九个因子之间构成了一个衔接递进的完整体系：因子1、2测量政府及其官员遵守法律与滥用权力的程度，因子3测量政府与公民之间的互动合作关系，因子4、5、6从正面测量公民权利保障和法律实施的效果，因子7、8、9则从反面测量法律与权利被保障的程度，也就是在法律被违反、权利被侵害的状态下法治自我修复的程度。这些因子包括了政府、官员、公民、社团等等最主要的法律主体，测量了法律主体遵守法律的程度、相互之间的沟通关系、法律实施的效果，提供了一幅完整的法治图景，基本上符合互斥性、穷尽性和单项性的指数属性要求。
四、因子数据的收集与计算
因子体系确定以后，接下来就需要收集各个因子变量的数据。在指数理论中，数据可以分为三类[26]：一、以调查为基础的数据，通过广大公众或相关专家的意见而获得；二、以标准为基础的数据，通过确立标准、根据相关信息，判断该标准被实现的程度；三、以事件为基础的数据，主要是以一些特殊事件的统计为基础，例如某一时间段内的立法数量、诉讼数量等等。贝塔斯曼、自由之家等等组织的法治数据都是第二类，由专家打分产生，获得这类数据的成本较小，但是不如第一类和第三类数据更接近社会事实。为了保证尽可能获得真实的第一手数据，WJP全部采用了第一类和第三类数据，特别是以第一类数据优先。对于那些无法通过调查获得数据的情形，WJP才引入第三类数据作为补充。这类数据只有5种，分别是：恐怖袭击事件的数量和死亡人数（来自Center for Systemic Peace），战死的人数、单方暴力导致的伤亡数量（来自Uppsala Conflict Data Program），政变的数量（来自Center for Systemic Peace）。前4个变量数据用于子因子5.2，最后一个变量数据用于子因子1.6.2014年WJP法治指数依赖的变量数据一共有541种，除了上述5种第三来数据以外，其余536种数据完全属于WJP自行采集的第一类数据。
WJP调查的对象非常广泛，既包括普通大众，也包括法律专业人士和公共卫生专家。为了充分实施这些调查，WJP专门制定了1种面向公众的调查问卷（General Population Poll，GPP），以及4种面向不同领域的专业响应者调查问卷（Qualified Respondents' Questionnaires，QRQ）。GPP问卷由WJP会同全国咨询中心（centro nacional de consultoría）、盖洛普公司、摩根研究公司等世界著名民意调查机构的研究人员制定而成[27]，并由WJP在数个国家对不同民族、不同文化、不同社会经济背景的答卷人进行了试验，根据反馈结果不断修改调整而成[28]。QRQ问卷由WJP采取哈佛大学的方法制定而成，最初包括200多个涉及各个领域的问题，先在数个国家进行试验，然后在此基础上制定了民商法、刑事司法、劳动法和公共卫生等四个领域的专业问卷，之后再进行测试，最后修改调整而成[29]。
问卷的设计需要很高的技巧。设计专家们遵循了社会学、心理学等等研究方法，对于那些可能引起政府官员敌视的敏感问题、以及答卷人不愿意如实回答的敏感问题，设计者们与各个国家的调查公司进行了沟通，予以事先排除。问卷问题必须是每一个国家都会面对的，不然就无法进行国际横向比较和排名。对于某些子因子，一个问题可能无法涵盖其所有内容，因此就设计了多个问题。例如，为了测量“政府规章的执行与实施是否免于贿赂或不当影响”，鉴于政府规章数量众多，WJP用了几十个问题来测量不同的规章实施领域，包括劳工、环境、公共卫生、商业调整与消费者保护、公共服务等等[30]。
问卷的问题有两类组成：基于经验的（experience-based）问题和基于感知的（perception-based）问题。基于经验的问题要求答卷人根据他们自身的经验来回答。这类问题可以提供可靠的数据，但是适用范围有限，因为个人的社会经验总是有限的。为了克服这一局限，WJP引入了基于感知的问题，该类问题设置了一些虚拟的情境，由答卷人结合自身的感知进行回答。这类回答提供的数据不够客观准确，但是对于一些几乎不可能进行客观测量的情形，例如腐败程度、出版自由受到保障的程度、法官独立审判的程度等等，该问题可以提供一些低成本的替代性信息。总之，这两种问题可以相互取长补短，实现对于各个法治领域的调查。
问卷答案转化为具体的数据，是定性判断转向定量数值的枢纽环节。WJP问卷提供的问题答案都不是能够以数字回答的问题，而是反映答卷者主观看法的选项，例如“同意”或“反对”、“可能”或“不可能”、“有效”或“无效”等等。为了量化各种答案，WJP采取了调查研究最常见的量化方法：李克特量表（Likert scale）。该量表将每一种回答对应一定的分值，例如四个选项“非常可能”、“可能”、“不可能”、“非常不可能”分别对应的分值可以是1、0.667、0.333、0分（也可以倒过来赋分），以实现定性答案的量化。例如，GPP问卷有一道问题“如果某一公务员被发现为了私人利益而非法颁发许可证，这一公务员被开除的可能性有多大？”，选项有四个，选“非常可能”的为1分，选“可能”的为0.667分，选“不可能”的为0.333分，选“非常不可能”的为0分。以事件统计为基础的数据也同样可以转化为其他数值，例如CSP提供的政变数量，如果出现了“成功的政变”得0分，出现了“预谋的、策划的或受指控的政变”得0.5分，没有政变的得1分。WJP为问卷的每一道问题答案都设定了对应分值，这样就为指数的加总奠定了基础[31]。
调查问卷确定之后，接下来就要开展调查。WJP首先根据收入水平、人口规模和法律传统，在不同的地区选择被调查国家，以保障国家的多样性和代表性。在2014年调查的99个国家中，每个区域选择的国家数量分别是：东亚与太平洋地区15个、东欧与中亚地区13个、拉美与加勒比海地区16个、中东与北非地区7个、南亚地区6个、撒哈拉以南的非洲地区18个、西欧与北美地区24个[32]。公众调查与专家调查分别进行。问卷都会翻译成当地语言，表达力求通俗易懂。
GPP问卷调查委托给各个国家权威的民意调查公司，由其在该国三个最大的城市随机抽样1000人左右进行调查（不一定限于1000，2011年在中国抽样了1006份，2013年在秘鲁抽样了1231份、在巴西和智利抽样了850份），调查之前会进行试验。被调查者全部是18岁以上的成年人，根据社会经济地位进行了分层，男性与女性尽可能各占一半[33]。调查均是匿名进行。调查方法有三种：电话调查（CATI）、面对面调查（Face-to-face，F2F）和在线调查（ONLINE）[34]。在2014年调查的99个国家中，4个国家使用了CATI，19个国家使用了ONLINE（均是网络普及率很高的国家），1个国家综合使用了CATI和F2F，75个国家使用了F2F[35]。GPP调查在每个国家每隔一年进行一次。在2014年的法治指数报告中，16个国家的GPP调查实施于2011年春季，34个国家在2012年春季，49个国家在2013年秋季[36]。
QRQ调查由WJP指数组直接实施。WJP首先会在每个国家选取300人以上的专家，然后进行抽样，向被抽中的专家发放QRQ，并与其保持联系，最后回收问卷。QRQ调查每年实施一次，被调查的法律专家来自律师事务所、大学、研究机构、非政府组织（例如中国著名的“小小鸟”组织）。公共卫生问卷的响应者还包括公共卫生领域的专家和执业医生。为了避免利益冲突，被调查的专业人士不包括现任政府官员、法官和检察官。2014年的法治指数报告一共收集了2423份有效QRQ，每个国家平均24份专家问卷、每个专业领域平均6份专家问卷，调查是在2013年7月至12月的期间实施的[37]。
问卷回收之后，就开始进行数据处理和加总计算。WJP指数组首先要进行编辑审查，去掉严重残缺的调查问卷、可疑数据和异常值（outlier）。计算方法是简单的均值计算法，每个因子、子因子、三级因子、四级因子的权重均相等。GPP和QRQ问卷的各个问题，会分配到每个因子、子因子、三级因子和四级因子之下，最后两级因子一般会包括多个问题，而且往往是同时包含GPP和QRQ问卷问题，以汇聚公众和专家对同一事项的看法。属于同一类问卷（要么是GPP问卷、要么是QRQ问卷）的数个问题，按照权重均等的算术计算法，算出其均值，然后再与另一类问卷的均值相加计算平均数。如果问卷的某些选项没有得分，出现了缺失值（missing values），那就以无条件均值（unconditional mean）代替，后者是同一因子或子因子其他变量的均值[38]。WJP问卷收集的数据，除了“非正式司法”存在较多缺失值以外（8个问题选项，有2~3个答案缺失），其他因子的调查回答比较容易，缺失值极少，不影响大局。最后，WJP计算出每个国家每个因子（不包括“非正式司法”）的得分，分值统一分布在0-1之间，1分是最大值。
在2014年之前的指数报告中，WJP并没有提供每一个国家的法治总分，而是提供了每个国家的每个因子和子因子的得分（“非正式司法”除外），理由是：一、各个因子之间的关系极为复杂，未必符合指数的单项性要求，因此没有加总；二、单一的法治指数得分信息含量少，不能反映法治具体领域的优点和缺陷，不能为改革者们提供实践指导[39]。不过，自2010年以来，JRC对9个因子进行了主成分分析（PCA），指出除了“非正式司法”以外，其他因子之间存在着一个容量很大的潜在主成分，可以进行加总计算[40]。在2014年的指数报告中，WJP开始提供被调查国家的法治总分，结果显示：丹麦和挪威以0.88分（满分1分）并列第一，委内瑞拉以0.31分位居最后，中国以0.45分居于第76位，中国香港则以0.76分的成绩、与爱沙尼亚、比利时并列第15位，是全球法治程度最高的地区之一[41]。
五、指数结果的审查
调查数据和指数结果得出之后，不会“万事大吉”，还会面临如下挑战：如果采取同样的方法，对同一国家再度进行抽样调查，能得到同样的答案吗？各个因子之间符合指数的单项性要求吗？各个国家的指数排名是否可靠？等等。对于这些挑战，WJP引入了统计审查，来检验指数的信度、协调性（coherence）和稳健性（robustness）。如上所述，这一审查始于2010年，至今已进行了四次，每一次审查建议都得到了WJP的吸收，对于提升其法治指数的科学性和严谨性发挥了极大作用。这一做法尤其值得中国的各种法治指数借鉴。下面简要阐述统计审查的目的和方法。
其一，信度（Reliability）的审查，也就是采用同样的方法对同一对象重复测量时所得结果的一致性程度。方法主要有四种：再测信度、复本信度、评分者信度、克隆巴赫系数（Cronbach-alpha，C-alpha）[42]。其中C-alpha是目前社会科学研究最常使用的信度分析方法，评价的是量表中各题项得分之间的协调性，适用于调查问卷的信度分析。信度系数0.7以上的可以接受，0.6-0.7的还可以接受，0.6以下的就要考虑重新编写问卷。2014年的JRC分析显示，除了“秩序与安全”（C-alpha=0.62）和“非正式司法”（C-alpha=0.37）的系数较低以外，其他因子的系数都在0.89以上[43]。因此，“非正式司法”的调查数据不能使用，“秩序与安全”数据可以使用、但需要改进问卷，其他因子的数据都很可靠。
其二，内部协调性的审查，也就是指数单项性的审查。如上所述，构成指数的各个因子应该搭配恰当、具有相关性，分别测量法治的不同维度内容。相应的审查方法是系数，包括上述的C-alpha系数、斯皮尔曼等级相关系数（Spearman Rank Correlation）等等。其中，C-alpha系数从各因子得分结果的角度检验内部协调性：如果某一因子得分很高，那么与其同属一个事物的另一因子的得分也相应会较高；Spearman系数则是从各因子得分排名顺序的角度测量协调性：如果某一国家在某一因子上排名比较靠前，那么其他因子的排名也不会过于靠后。C-alpha系数的结果已经如上所述，Spearman系数进一步验证了这一结果：“非正式司法”与其他8个因子的系数极为微弱，最高才0.21；而其他因子之间的协调性一般都在0.71以上[44]。这表明，“非正式司法”的因子得分确实不能纳入总指数之中。
其三，外部协调性的审查。从事法治评估工作的，并非仅有WJP一家，其他机构也针对法治相关因子进行了评估。如果WJP的数据结论与其他机构的结论相差太大，那么该结果就会非常可疑。为了证实其调查，WJP参考了第三方相关数据，对其自身数据进行定性和定量的检查。定性检查参考了联合国人权报告、自由之家的“转型中的国家”和“世界自由”报告、大赦国际的国别报告。定量检查则参考了全球廉正（Global Integrity）指数、自由之家、全球竞争力报告、世界银行的WGI和“做生意”指数、WB治理指数、透明国际的腐败感知指数和Cingranelli-Richards人权数据库等等提供的几十种指数。WJP将这些外部指数与自身法治指数相对应的因子和子因子进行了Spearman系数分析，结果显示：78%的指标有着正相关性和统计显著性，52%的指标高度相关[45]。这些都表明WJP的调查结果与其他调查结果在很大程度上是保持一致的。
其四，稳健性的审查。指标因子、具体变量、缺失值的插补、权重的分配、计算方法等等都是选择的结果，如果改变某一选择，指数得分和排序就会变动。在指标因子等等稳定的前提下，改变缺失值的插补方法、权重的分配、计算方法，会直接影响国家的得分排序。JRC使用了蒙特卡洛试验[46]（Monte-Carlo experiment）和多模型方法（multi-modeling approach），来进行稳健性审查。蒙特卡洛试验进行了1000个游程（run），每次都采取不同的权重方法（考虑到每个子因子的重要性大致相同，因此权重的浮动幅度不大，在25%的范围内增高或降低）。多模型方法则提出了4种模式：均值插补法（WJP推算缺失值的方法）、EM算法（推算缺失值的另一种方法）、算术均值法、几何均值法，将其分别与1000个游程相结合，得到了4000次模拟。最后结果显示：绝大多数国家的排名顺序变化不大，变化区间较小，这说明排名主要依赖于因子变量的选择，而不是计算方法[47]。WJP的法治指数排名比较稳健。
六、结论
WJP法治指数不仅为世人展现了一幅全球“法治图景”，也展示了法治是如何得以指数化的。基于WJP的实践和方法，可以把法治指数的理论基础和方法论归纳如下。第一，基于实证主义的立场，采取实证化的形式法治理论和实质法治理论，同时配以相应的指数方法论。第二，对“法治”进行概念化和操作化，使其最终分解为一个个可以具体观察的变量。第三，收集各个变量的数据，包括调查的方法、标准打分的方法、统计事件的方法等等。第四，为每个指标分配权重。权重分配的方法比较多，常用的有层次分析法（AHP）、参与式方法（participatory methods，国内学者称之为“德尔菲法”）、主成分分析等等。统计学与社会学理论均指出：权重的配置，通常采取均等分配的方式，除非有确切的特别说明[48]。第五，根据相关的计算规则，对收集到的数据进行计算、得出法治指数，计算规则主要有两种：线性计算法和几何计算法；前者适用于存在互补关系的指标；后者适用于相互之间不可补偿、彼此独立的指标[49]。第六，对指数进行审查，包括信度、效度、协调性、稳健性等等方面。以上环节，构成了法治指数化的完整逻辑。
WJP法治指数在全世界产生了重大影响，但是也存在两大缺陷，第一就是WJP的调查取样存在严重问题：只限于大城市，不包括农村。在城乡差异巨大的国家，城市调查和农村调查的结果往往迥然有别。WJP当然明白这些，囿于经费的原因一直未能弥补，从明年开始就在各国农村展开调查。第二个缺陷是公众调查取样的总体数量不够，每个国家只调查1000个左右的样本。在社会科学调查中，如果是非常大的总体（1000万人以上），需要2500个左右的样本才能得出较为准确的结果[50]。不过，这些都是人力财力不足所造成的问题，不属于理论方法不当的结果，只要经费和人力获得充分的保障，这些问题都可以克服。对于中国的法治评估而言，WJP法治指数的建构方法尤其值得学习。国内的法治评估基本上由法学界所主导，指数的理论和方法应用得相对不多；而在法治指数的编制过程中，指数方法起着举足轻重、引领全局的作用。这些，都是中国法学界和政府需要着力弥补的。
【作者简介】
孟涛，中国人民大学法学院助理教授，法学博士。
【注释】
本文系中国人民大学科学研究基金（中央高校基本科研业务费专项资金资助）项目成果（批准号：13XNF006）。
[1] 例如，钱弘道等：《法治评估的实验——余杭案例》，法律出版社2013年版，第38-42页；张保生、郑飞：《世界法治指数对中国法治评估的借鉴意义》，《法制与社会发展》，2013年第6期；周尚君、彭浩：《可量化的正义：地方法治指数评估体系研究报告》，《法学评论》2014年第2期；鲁楠：《世界法治指数的缘起与流变》，《环球法律评论》2014年第4期。
[2] WJP把指标称为“因子”（factor）。
[3] 袁卫、刘超：《统计学——思想、方法与应用》，中国人民大学出版社2011年版，第311页。
[4] 彭宗超、李贺楼：《社会指标运动源起、评价及启示》，《南京社会科学》2013年第6期。
[5] Juan Carlos Botero， Joel Martinez， Alejandro Ponce and Christine Pratt， The Rule of Law Measurement Revolution: Complementarity Between Official Statistics， Qualitative Assessments and Quantitative Indicators of the Rule of Law，Innovations in Rule of Law: A Compilation of Concise Essays， 2012， p.8.
[6] Mark David Agrast， Juan Carlos Botero， Alejandro Ponce-Rodríguez and Claudia Dumas， The World Justice Project Rule of Law Index: Measuring Adherence to the Rule of Law around the World， Presented at the World Justice Forum， Vienna，Austria， 3 July 2008.p.5.
[7] 参见陈新民：《国家的法治主义——英国的法治（Rule of Law）与德国法治国（Der Rechtsstaat）之概念》，载于《德国公法学基础理论》，山东人民出版社2001年版，第37-114页。
[8] 关于形式法治与实质法治的具体论述，参见[美]布雷恩·Z·塔玛纳哈：《论法治——历史、政治和理论》，李桂林译，武汉大学出版社2010年版，第117-146页。
[9] Mark David Agrast， Juan Carlos Botero， Alejandro Ponce-Rodríguez and Claudia Dumas， The World Justice Project Rule of Law Index: Measuring Adherence to the Rule of Law around the World， Presented at the World Justice Forum， Vienna，Austria， 3 July 2008.p.6.
[10] 参见（美）劳伦斯·纽曼、拉里·克罗伊格：《社会工作研究方法：质性和定量方法的应用》，刘梦译，中国人民大学出版社2008年版，第230-231页。
[11] OECD/EC JRC， Handbook on Constructing Composite indicators: Methodology and User Guide. Paris: OECD. 2008.
[12] See the World Justice Project， WJP Rule of Law Index 2014.p.4.
[13] Tom Ginsburg（2011）。 “Pitfalls of Measuring the Rule of Law”. Hague Journal on the Rule of Law，3， pp.270-271.
[14] Report of the Secretary-General: The Rule of Law and Transitional Justice in Conflict and Post-conflict Societies，S/2004/616， 23 august 2004， para.6.
[15] Juan C. Botero and Alejandro Ponce， Measuring the Rule of Law， The World Justice Project-Working Papers Series No. 001. 2011. p.5.
[16] Juan C. Botero and Alejandro Ponce， Measuring the Rule of Law， The World Justice Project-Working Papers Series No. 001. 2011. p.2.
[17] Vera Institute of Justice， Developing Indicators to Measure the Rule of Law: A Global Approach， A Report to the World Justice Project， July 2008.
[18] Juan C. Botero and Alejandro Ponce， Measuring the Rule of Law， The World Justice Project-Working Papers Series No. 001. 2011. pp.39-54.
[19] 有些概念所反映的现象是固定不变的，例如官僚机构的理想类型，这类概念不能转换为变量。而“变量”所反映的现象可以不断变化，例如婚姻状态、财产收入等等。
[20] See Michaela Saisana and Andrea Saltelli， The Joint Research Centre audit on the WJP Rule of Law Index， the WJP Rule of Law Index 2010， pp.119-120.
[21] 该子因子不关注政治权力转移是否通过民主选举程序，而且审查权力的有序转移是否依据规则，具体的衡量因素包括：选举过程中的欺诈与胁迫（针对举行选举的国家）、政变的发生频率、转移程序对公共审查机制开放的程度。参见the World Justice Project， WJP Rule of Law Index 2014. p.7.
[22] See the World Justice Project， WJP Rule of Law Index 2014. p.7.
[23] Juan C. Botero and Alejandro Ponce， Measuring the Rule of Law， The World Justice Project-Working Papers Series No. 001. 2011. p.11.
[24] See the World Justice Project， WJP Rule of Law Index 2014. p.7.
[25] Juan C. Botero and Alejandro Ponce， Measuring the Rule of Law， The World Justice Project-Working Papers Series No. 001. 2011. p.13.
[26] University of Essex-Human Rights Centre， 2003. “Map-making and Analysis of the Main International Initiatives on Developing Indicators on Democracy and Good Governance”. pp. 4-5.
[27] Mark David Agrast， Juan Carlos Botero， Alejandro Ponce-Rodríguez and Claudia Dumas， The World Justice Project Rule of Law Index: Measuring Adherence to the Rule of Law around the World， Presented at the World Justice Forum， Vienna，Austria， 3 July 2008.p.16.
[28] Juan C. Botero and Alejandro Ponce， Measuring the Rule of Law， The World Justice Project-Working Papers Series No. 001.p.22.
[29] Mark David Agrast， Juan Carlos Botero， Alejandro Ponce-Rodríguez and Claudia Dumas， The World Justice Project Rule of Law Index: Measuring Adherence to the Rule of Law around the World， Presented at the World Justice Forum， Vienna，Austria， 3 July 2008.p.18.
[30] Juan C. Botero and Alejandro Ponce， Measuring the Rule of Law， The World Justice Project-Working Papers Series No. 001. 2011. pp.47-49.
[31] Juan C. Botero and Alejandro Ponce， Measuring the Rule of Law， The World Justice Project-Working Papers Series No. 001. 2011. pp.39-54.
[32] See the World Justice Project， WJP Rule of Law Index 2014.pp.40-46.
[33] Juan C. Botero and Alejandro Ponce， Measuring the Rule of Law， The World Justice Project-Working Papers Series No. 001. 2011. p.19.
[34] Juan C. Botero and Alejandro Ponce， Measuring the Rule of Law， The World Justice Project-Working Papers Series No. 001. 2011. p.32.
[35] See the World Justice Project， WJP Rule of Law Index 2014.p.172.
[36] See the World Justice Project， WJP Rule of Law Index 2014.p.171.
[37] See the World Justice Project， WJP Rule of Law Index 2014.p.171.
[38] Juan C. Botero and Alejandro Ponce， Measuring the Rule of Law， The World Justice Project-Working Papers Series No. 001. 2011. p.21.
[39] Mark David Agrast， Juan Carlos Botero， Alejandro Ponce-Rodríguez and Claudia Dumas， The World Justice Project Rule of Law Index: Measuring Adherence to the Rule of Law around the World， Presented at the World Justice Forum， Vienna，Austria， 3 July 2008.p.13.
[40] See Michaela Saisana and Andrea Saltelli， The Joint Research Centre audit on the WJP Rule of Law Index， the WJP Rule of Law Index 2010， p.116.
[41] See the World Justice Project， WJP Rule of Law Index 2014.pp.14-15.
[42] [美]萨尔金德：《爱上统计学》，史玲玲译，重庆大学出版社2011年版，第70-75页。
[43] See Michaela Saisana and Andrea Saltelli， The Joint Research Centre audit on the WJP Rule of Law Index， the WJP Rule of Law Index 2014， p.190.
[44] See Michaela Saisana and Andrea Saltelli， The Joint Research Centre audit on the WJP Rule of Law Index， the WJP Rule of Law Index 2014， p.191.
[45] Juan C. Botero and Alejandro Ponce， Measuring the Rule of Law， The World Justice Project-Working Papers Series No. 001. 2011. pp.37-38.关于斯皮尔曼等级相关系数的计算公式及详细介绍，参见吴喜之：《统计学：从数据到结论》，中国统计出版社2013年版，第109-111页。
[46] 蒙特卡洛试验的应用，参见[美]迈克尔·O·芬克尔斯坦、布鲁斯·莱文，《律师统计学》，钟卫译，中国人民大学出版社2008年版，第96-99页。
[47] See Michaela Saisana and Andrea Saltelli， The Joint Research Centre audit on the WJP Rule of Law Index， the WJP Rule of Law Index 2014， pp.192-196.
[48] See Michaela Saisana and Andrea Saltelli （2011）， “Rankings and Ratings: Instructions for Use”， Hague Journal on the Rule of Law， 3， p.254.（美）艾尔·巴比：《社会研究方法（第十一版）》，邱泽奇译，华夏出版社2009年版，第162页。
[49] See Michaela Saisana and Andrea Saltelli （2011）， “Rankings and Ratings: Instructions for Use”， Hague Journal on the Rule of Law， 3， pp.255-256.
[50] （美）劳伦斯·纽曼、拉里·克罗伊格：《社会工作研究方法：质性和定量方法的应用》，刘梦译，中国人民大学出版社2008年版，第280页。
本网站文章仅代表作者个人观点，不代表本网站的观点与看法。
原载：《政治与法律》2015年第5期
|
|
|
|
|
|
|
|
|
|
来源：北大法律信息网 |
作者： |
孟 涛 |
责任编辑：陈林辉 |
|
|
|
|
|
【评论】【发表评论】 【打印】【关闭】 |
|
|
|
|
|
|
|
(责任编辑：郑源山)
.jpg){kind=small}
