<u id="119bc"></u>
<blockquote id="119bc"></blockquote>

      <kbd id="119bc"></kbd>
    1. <meter id="119bc"><td id="119bc"></td></meter>
      1. <thead id="119bc"></thead>
        活死人军团在线播放,我的妻子电视剧免费观看,蜜桃成熟时33d在线,白莲花 电视剧,且听凤鸣短剧免费观看全集,锦月如歌电视剧36集全,陈子豪的个人空间,天若有情 刘德华
        歡迎訪問化學(xué)加網(wǎng)!客服熱線:020-29116151、29116152

        張春霆院士文章:學(xué)術(shù)評(píng)價(jià)的評(píng)價(jià)

        來源:中國科學(xué)基金   張春霆   2015-12-23
        導(dǎo)讀:張春霆,著名生物物理學(xué)家。出生于山東煙臺(tái)。復(fù)旦大學(xué)物理系畢業(yè),同年起在復(fù)旦大學(xué)攻讀理論物理專業(yè)研究生。1965—1970年在天津工科師范學(xué)院任教,1970—1979年在天津輕工業(yè)研究所工作,1979—1982年在法國國立理論物理研究中心作訪問學(xué)者。從1984年起在天津大學(xué)物理系工作至今。1995年當(dāng)選為中國科學(xué)院院士。2001年當(dāng)選第三世界科學(xué)院院士。

        1.png

        1 引言

        學(xué)術(shù)評(píng)價(jià)者學(xué)術(shù)界之大事也,事關(guān)國家科技的良性發(fā)展和原始創(chuàng)新能力的提高;也關(guān)乎科研人員的入職、職稱的提升、資助和獎(jiǎng)勵(lì)的獲取等切身利益,不可不察也。2010年6月17日,英國著名刊物《自然》(Nature)以《評(píng)價(jià)的評(píng)價(jià)》為題發(fā)表了一篇社論,對(duì)本期中發(fā)表的三篇有關(guān)學(xué)術(shù)評(píng)價(jià)的文章加以介紹和評(píng)論。其中一篇介紹了形形色色的學(xué)術(shù)評(píng)價(jià)指標(biāo)及在世界各地的使用情況。Nature雜志曾就評(píng)價(jià)指標(biāo)的實(shí)際使用程度以及與同行評(píng)議的關(guān)系向世界各地的許多學(xué)者和管理者發(fā)去了問卷調(diào)查。結(jié)果有150位研究人員和近30位大學(xué)教務(wù)長、系主任或其它管理人員反饋了調(diào)查問卷,綜合后加以公布。Nature雜志還邀請(qǐng)包括著名的文獻(xiàn)(科學(xué))計(jì)量學(xué)家在內(nèi)的6名專家就如何改進(jìn)學(xué)術(shù)評(píng)價(jià)指標(biāo)的使用等學(xué)術(shù)評(píng)價(jià)問題發(fā)表了看法。受這些文章的啟發(fā),筆者產(chǎn)生了借題發(fā)揮的想法,就是用同一個(gè)題目結(jié)合中國的實(shí)際情況,寫一篇新的文章,這正是本文的由來,希望對(duì)于改進(jìn)我國學(xué)術(shù)評(píng)價(jià)的現(xiàn)狀有所參考。本文由兩大部分組成:一部分用大量的篇幅介紹各種各樣國際通用的學(xué)術(shù)評(píng)價(jià)指標(biāo),包括適用于研究群體(大學(xué)或研究所等)、刊物和個(gè)人的評(píng)價(jià)指標(biāo),并討論如何克服其缺點(diǎn);另一部分則探討同行評(píng)議與使用學(xué)術(shù)指標(biāo)評(píng)價(jià)進(jìn)行評(píng)議之間的關(guān)系。

        2 基于科研產(chǎn)出的評(píng)價(jià)指標(biāo)

        科學(xué)研究,尤其是基礎(chǔ)研究其產(chǎn)出的主要形式就是發(fā)表學(xué)術(shù)研究論文。在一般情況下發(fā)表論文的數(shù)量就成為一項(xiàng)主要的評(píng)價(jià)指標(biāo)。當(dāng)然不排除歷史上或現(xiàn)實(shí)中某些杰出的學(xué)者只發(fā)表了極少數(shù)的論文卻取得了極高的學(xué)術(shù)成就,在這種情況下再數(shù)其發(fā)表了幾篇論文就變得毫無意義。但是在一般情況下這個(gè)數(shù)字還是有意義的。論文總數(shù)這個(gè)評(píng)價(jià)指標(biāo)在實(shí)際計(jì)算時(shí)存在著一個(gè)用什么樣的論文來統(tǒng)計(jì)的問題。目前國際上存在三大文獻(xiàn)檢索數(shù)據(jù)庫:Web of Science 或 WoS (Thomson-Reuters集團(tuán));Scopus (Elsevier集團(tuán))和Google Scholar (Google集團(tuán))。前者從11500種雜志收錄論文;中者從16500種刊物收錄論文;而后者則包括了比前兩者更多的工程學(xué)、社會(huì)科學(xué)和人文科學(xué)刊物所發(fā)表的論文以及專利。其中WoS又包括SCIE、SSCI等7個(gè)子庫。對(duì)于一個(gè)給定的研究人員或一所大學(xué)(研究所或部門)統(tǒng)計(jì)出的論文總數(shù)取決于采用哪個(gè)數(shù)據(jù)庫。對(duì)于自然科學(xué)方面的基礎(chǔ)研究宜用SCIE 數(shù)據(jù)庫(約7000種刊物);對(duì)于工程技術(shù)研究除了用SCIE 數(shù)據(jù)庫以外,還應(yīng)參考Scopus數(shù)據(jù)庫加以補(bǔ)充;而Google Scholar數(shù)據(jù)庫對(duì)于兩者都有參考價(jià)值,而且它是免費(fèi)的。

        3 基于論文引用次數(shù)的評(píng)價(jià)指標(biāo)

        3.1 篇均引用次數(shù)與影響因子

        論文的引用具有重要的參考價(jià)值,因?yàn)樗w現(xiàn)了在世界范圍內(nèi)的小同行的署名評(píng)議,具有廣泛性、公開性、公平性和客觀性等優(yōu)點(diǎn),歷來受到國內(nèi)外學(xué)術(shù)界的普遍認(rèn)可。其中,篇均引用次數(shù)是一個(gè)極其重要的學(xué)術(shù)評(píng)價(jià)指標(biāo)。統(tǒng)計(jì)在一個(gè)時(shí)間窗口中所發(fā)表論文的總數(shù)(分母),以及這些論文在另一個(gè)后續(xù)的時(shí)間窗口中所獲得的引用次數(shù)(分子),兩者之比即為篇均引用次數(shù)。若把前時(shí)間窗口取為前兩年,而把后時(shí)間窗口取為今年,則一刊物所發(fā)表論文的篇均引用次數(shù)又稱為該刊物在今年的影響因子。顯然,某刊物的影響因子,即其篇均引用次數(shù),與在該刊物所發(fā)表的某特定論文所獲引用次數(shù)屬于兩個(gè)不同的概念,兩者沒有可比性。例如,據(jù)Nature統(tǒng)計(jì),在2005年Nature的25%的論文獲得的引用次數(shù)占總引用次數(shù)的89%。換言之,另外75%的論文只獲得了11%的引用次數(shù)。也就是說即使在Nature這樣的刊物上發(fā)表的論文,其中大部分所獲得的引用次數(shù)相當(dāng)有限。筆者遺憾地指出,在我國教育界和學(xué)術(shù)界有一種用刊物影響因子來評(píng)價(jià)在該刊物所發(fā)表論文及其作者學(xué)術(shù)水平的傾向。如有的管理者甚至要求其屬下必須在影響因子多少點(diǎn)以上的刊物上發(fā)表論文。這種傾向不僅是十分錯(cuò)誤的,因?yàn)樗畴x了科學(xué)研究的宗旨;而且也是十分荒唐的,因?yàn)樗`用了刊物的評(píng)價(jià)指標(biāo)。著名文獻(xiàn)計(jì)量學(xué)家A.van Raan指出:“如果有一個(gè)觀點(diǎn)每一位文獻(xiàn)計(jì)量學(xué)家都同意的話,那就是:你們永遠(yuǎn)不要用刊物的影響因子來評(píng)價(jià)一篇論文或某個(gè)研究人員的學(xué)術(shù)表現(xiàn)——因?yàn)槟鞘且环N不可饒恕的大罪(That is a mortal sin)”。但愿文獻(xiàn)計(jì)量學(xué)家的忠告能引起我國教育界和學(xué)術(shù)界的警覺。

        3.2 考慮作者貢獻(xiàn)之不同的權(quán)重引用次數(shù)

        無論是總引用次數(shù)或篇均引用次數(shù)都是針對(duì)論文而言的。如果該論文只有一位作者,那么全部引用次數(shù)理應(yīng)歸于作者本人。但是如果有多位作者(這是當(dāng)前發(fā)表論文的普遍形式),國際上三大文獻(xiàn)檢索數(shù)據(jù)庫的現(xiàn)行做法是把論文的引用次數(shù)歸于每一位作者,導(dǎo)致了一篇論文的引用次被反復(fù)計(jì)數(shù),這是十分錯(cuò)誤的。為了解決這一問題,筆者定義了兩個(gè)概念:針對(duì)論文的引用次數(shù)和針對(duì)作者的引用次數(shù),而后者等于前者乘以作者的貢獻(xiàn)權(quán)重系數(shù)。權(quán)重系數(shù)是介于0和1之間的一個(gè)實(shí)數(shù),可以根據(jù)該作者在論文中的排名計(jì)算出來。為了計(jì)算權(quán)重系數(shù),筆者提出了一個(gè)論文榮譽(yù)的三分原則:將一篇論文由引用次數(shù)獲得的榮譽(yù)等分為三份:第一作者和通訊作者各得1份(他們的權(quán)重系數(shù)均為1),其他作者的權(quán)重系數(shù)之和等于1。而他們的權(quán)重系數(shù)原則上按作者排名的先后順序遞減,詳情可參見文獻(xiàn),在這里不再介紹。為了給權(quán)重系數(shù)的計(jì)算提供方便,筆者建立了一個(gè)網(wǎng)站,免費(fèi)提供權(quán)重系數(shù)和權(quán)重引用次數(shù)的在線計(jì)算,詳見:http://www.wcitation.org/。

        3.3 按學(xué)科歸一化的引用分?jǐn)?shù)和皇冠指標(biāo)(Crown indicator)

        用引用次數(shù)作為評(píng)價(jià)指標(biāo)的另一個(gè)大缺點(diǎn)是不具有學(xué)科可比性。例如,生物醫(yī)學(xué)的引用次相對(duì)較多;而數(shù)學(xué)力學(xué)的相對(duì)較少。解決這一問題的方法之一是引入按學(xué)科歸一化的引用分?jǐn)?shù)。假設(shè)一個(gè)研究群體在某一學(xué)科領(lǐng)域發(fā)表了一批論文。首先計(jì)算其篇均引用次數(shù);其次再計(jì)算世界范圍內(nèi)在同一學(xué)科領(lǐng)域和相同情況下的篇均引用次數(shù),兩者之比則成為按該學(xué)科歸一化的引用分?jǐn)?shù)。其值為1表示達(dá)到了世界平均水平;其值大于1(小于1)表示比世界平均水平高(低)。于是歸一化的引用分?jǐn)?shù)在不同學(xué)科間就有了可比性。若一研究群體同時(shí)從事多學(xué)科研究,則還要對(duì)所涉及學(xué)科求平均。在計(jì)算過程中可有不同的變化,于是就有多種不同的歸一化方案。其中荷蘭Leiden大學(xué)《科學(xué)與技術(shù)研究中心》(CWTS)所提出的皇冠指標(biāo)就是其中的一種,被做為世界大學(xué)排行榜的評(píng)價(jià)指標(biāo)使用,詳見http://www.cwts.nl/ranking/。但是仔細(xì)一想這種做法也有問題。把科學(xué)劃分為各種領(lǐng)域是一種粗粒化的做法。問題是,粗到多粗為宜?細(xì)到多細(xì)為好?“如果劃分過寬就會(huì)抹剎細(xì)節(jié);如果劃分過細(xì),就會(huì)導(dǎo)致毫無用處的結(jié)果” ,最終使人處于兩難的境地。到目前為止,這種指標(biāo)只應(yīng)用于對(duì)研究群體(大學(xué)或研究所等)的評(píng)價(jià)。

        4 基于引用網(wǎng)絡(luò) (Citation network) 的評(píng)價(jià)指標(biāo)

        如果把每篇論文用平面上一個(gè)點(diǎn)(節(jié)點(diǎn))來表示,而它們之間的引用用一條連接兩點(diǎn)的線段來表示,則構(gòu)成一個(gè)網(wǎng)絡(luò)圖。引用次數(shù)是一正整數(shù),可用實(shí)軸上的一個(gè)點(diǎn)來表示。而引用網(wǎng)絡(luò)是一個(gè)二維圖,應(yīng)比實(shí)軸上的一些點(diǎn)包含更多的信息。令人感興趣的是互聯(lián)網(wǎng)(Internet)的眾多網(wǎng)頁和它們之間的鏈接關(guān)系也可用類似的網(wǎng)絡(luò)圖來表示。這使人聯(lián)想到能否用互聯(lián)網(wǎng)的研究成果來研究引用網(wǎng)絡(luò)。互聯(lián)網(wǎng)的網(wǎng)頁重要性排序算法的發(fā)明是一項(xiàng)重要的成果,其中由美國博士研究生L. Page 和S. Brin研發(fā)的PageRank 算法可能是最重要的之一,它是Google 搜索引擎的核心。PageRank 算法認(rèn)為一個(gè)網(wǎng)頁A的重要性取決于鏈向它的網(wǎng)頁的數(shù)量和其重要性:鏈入的網(wǎng)頁數(shù)越多,A面頁就越重要;與此同時(shí),鏈向A的網(wǎng)頁本身越重要,其對(duì)A網(wǎng)頁重要性的貢獻(xiàn)就越大,及之亦然。可用一個(gè)數(shù)來表示網(wǎng)頁的重要性,記為PR。顯然,按照這一算法一群網(wǎng)頁的PR值都耦合在一起。Page和Brin采用了疊代法解決了這一問題,算出了每一個(gè)網(wǎng)頁的PR值,最終給出了網(wǎng)頁重要性排序。PageRank算法的成功使人們想到用該算法對(duì)雜志的重要性進(jìn)行排序。雜志之間通過其論文的引用構(gòu)成了一個(gè)網(wǎng)絡(luò)。雜志不同于網(wǎng)頁,所以應(yīng)用PageRank算法的具體過程是比較復(fù)雜的。美國的研究人員在WoS的基礎(chǔ)上、按照這一思路提出了評(píng)價(jià)學(xué)術(shù)刊物的新指標(biāo),稱為特征因子(Eigenfactor),又細(xì)分為特征因子分?jǐn)?shù)(Eigenfactor Score)和論文影響分?jǐn)?shù)(Article Influence Score),詳見http://www.eigenfactor.org,這里不再詳述。Thomson-Reuters集團(tuán)在其JCR報(bào)告增強(qiáng)版里同時(shí)發(fā)布特征因子數(shù)據(jù),包括特征因子分?jǐn)?shù)和論文影響分?jǐn)?shù)。可以理解,刊物的特征因子與刊物的影響因子呈強(qiáng)正相關(guān),但排序不完全相同。影響因子只考慮引用次數(shù);而特征因子不僅考慮引用次數(shù),而且還考慮引用刊物的重要性,即來自重要刊物的引用其權(quán)重就大,反之亦然。從這個(gè)意義上來說,特征因子這類指標(biāo)比影響因子更先進(jìn)。基于同樣的想法但采用Scopus數(shù)據(jù)庫,西班牙的研究人員提出了SJR指標(biāo)[5]。值得指出的是,特征因子和SJR指標(biāo)都是用來評(píng)價(jià)刊物的而不是用來評(píng)價(jià)個(gè)別人的學(xué)術(shù)表現(xiàn)的。但是在引用網(wǎng)絡(luò)的基礎(chǔ)上發(fā)展評(píng)價(jià)個(gè)人學(xué)術(shù)表現(xiàn)的指標(biāo)是可行的。意大利學(xué)者Radicchi 等人從1893年到2006年的114年間《物理評(píng)論》(Physical Review)雜志所發(fā)表的40多萬篇論文以及這些論文所附的878多萬篇參考文獻(xiàn)出發(fā),建立了一個(gè)龐大的作者-作者引用網(wǎng)絡(luò)。然后再采用類似于PageRank的算法計(jì)算出作者的排序名次[6]。為了實(shí)用,他們建立了一個(gè)網(wǎng)站:http://www.physauthorsrank.org,提供免費(fèi)在線排序服務(wù)。任何于2006年以前在Physical Review上發(fā)表過至少一篇論文的作者皆適用。只要輸入姓名,就立即給出該作者的排序名次及顯示歷年來排序名次變動(dòng)情況的直方圖,使用十分簡便,結(jié)果相當(dāng)合理,建議我國物理學(xué)研究人員不妨一試。

        社會(huì)網(wǎng)絡(luò)理論中所定義的一些參數(shù)在引用網(wǎng)絡(luò)中可能有意義。其中有一個(gè)參數(shù)叫中介中心性(Betweenness centrality),它正比于網(wǎng)絡(luò)中任意兩個(gè)節(jié)點(diǎn)通過被研究節(jié)點(diǎn)(對(duì)應(yīng)一篇論文)的最短路徑數(shù)目。另一個(gè)參數(shù)叫接近中心性(Closeness centrality),它表示該節(jié)點(diǎn)到其他所有節(jié)點(diǎn)的最短路徑的平均長度。 “這些參數(shù)在學(xué)術(shù)評(píng)價(jià)中有何意義仍不清楚,可能是學(xué)科交叉性的一種指標(biāo)”[1]。毫無疑問,引用網(wǎng)絡(luò)是學(xué)術(shù)評(píng)價(jià)的重要研究領(lǐng)域,值得重視。

        5 基于將論文數(shù)與引用次數(shù)相結(jié)合的評(píng)價(jià)指標(biāo):h-指數(shù)

        2005年美國物理學(xué)家Hirsch提出一種將論文數(shù)與引用次數(shù)相結(jié)合的新的評(píng)價(jià)指標(biāo),稱之為h-指數(shù)。一個(gè)學(xué)者的h-指數(shù)為h意味著其至少發(fā)表了h篇論文,同時(shí)至少被累積引用了h2次。由于這個(gè)學(xué)術(shù)評(píng)價(jià)指標(biāo)的新穎性和簡單性,立即在全球范圍內(nèi)引起了廣泛的注意,掀起了研究它的熱潮。迄今為止,至少發(fā)表了100多篇研究h-指數(shù)的論文。為了克服其缺點(diǎn)至少提出了十幾個(gè)h-指數(shù)的變種,又稱為h-型指數(shù)。面對(duì)這種局面,澳大利亞著名學(xué)者Anne-Wil Harzing說:“自2005年以來提出了一打以上的h-型指數(shù),就連文獻(xiàn)計(jì)量學(xué)專家也搞不清楚哪些是最好的。結(jié)果,大部分科學(xué)家堅(jiān)持還是使用h-指數(shù),盡管有種種缺點(diǎn)”。其實(shí)這種說法是不對(duì)的,h-型指數(shù)雖然為數(shù)眾多,但是它們基本上反映了相同的信息,只是表述方式不同而已。結(jié)果它們之間呈強(qiáng)正相關(guān),這提示用少數(shù)一、兩個(gè)即可。其中e-指數(shù)是筆者提出來的,它被定義為在h篇論文所獲引用次數(shù)中扣除h2之后多余部分的平方根。簡言之,在使用h-指數(shù)的前提下,e-指數(shù)補(bǔ)充了其丟失的引用信息,故應(yīng)該同時(shí)使用。美國學(xué)者Dodson就建議同時(shí)使用h-指數(shù)和e-指數(shù)來評(píng)價(jià)大學(xué)教師的學(xué)術(shù)表現(xiàn)。天津大學(xué)人事部門聯(lián)合使用h-指數(shù)和e-指數(shù)作為主要評(píng)價(jià)指標(biāo)建立了人才評(píng)價(jià)平臺(tái),取得了良好的效果。在許多h-型指數(shù)中,g-指數(shù)是一個(gè)重要的指數(shù),它主要反映被h-指數(shù)忽略的高引用論文的引用信息。在這點(diǎn)上看,g-指數(shù)與e-指數(shù)是相互冗余的。因此,在使用h-指數(shù)的前提下,(h,e)組合或(h, g)組合皆可取得滿意的效果。但是g-指數(shù)在若干重要的情況下沒有定義[8]。筆者重新定義了g-指數(shù)徹底消除了這一缺陷,并推導(dǎo)出一個(gè)公式可以從h-指數(shù)和e-指數(shù)出發(fā)快速計(jì)算出g-指數(shù)。意大利學(xué)者A. Bee開發(fā)出一套計(jì)算機(jī)程序,當(dāng)用火狐貍瀏覽器訪問Google Scholar時(shí),會(huì)自動(dòng)顯示所查詢作者的h-指數(shù)、g-指數(shù)和e-指數(shù)。該程序應(yīng)下載到本地計(jì)算機(jī)中運(yùn)行,詳見https://addons.mozilla.org/en-US/firefox/addon/45283/。

        Hirsch本人認(rèn)為h-指數(shù)的最大缺陷是沒有考慮多作者論文中的作者人數(shù)和榮譽(yù)分配。其實(shí),筆者也注意到了這一問題,并提出了用w-指數(shù)來解決它[4]。所謂w-指數(shù)就是建立在權(quán)重引用次數(shù)上的h-指數(shù)。Hirsch在其論文中引用了文獻(xiàn),并提出另一種解決方案;即h-bar-指數(shù)。在使用h-指數(shù)的前提下,當(dāng)出現(xiàn)多作者論文時(shí),可選用w-指數(shù)或h-bar-指數(shù)。對(duì)前者已建立了網(wǎng)絡(luò)平臺(tái)(即前已提及的http://www.wcitation.org)提供w-指數(shù)的在線計(jì)算;對(duì)后者目前尚無此類服務(wù)。

        6 基于互聯(lián)網(wǎng)(Internet)的評(píng)價(jià)指標(biāo)

        隨著互聯(lián)網(wǎng)的普及,越來越多的學(xué)術(shù)刊物將論文在線發(fā)表,變成一份純電子刊物。另外一些則在保持其紙質(zhì)印刷的傳統(tǒng)形式下,先期在線發(fā)表。有一種趨勢(shì)就是越來越多的論文,尤其是重要的論文在網(wǎng)上先期發(fā)表,免費(fèi)閱讀或下載。這就產(chǎn)生了一些新的學(xué)術(shù)評(píng)價(jià)指標(biāo),如在線閱讀次數(shù)和下載次數(shù)等。有的刊物,如PLoS ONE,就提供其論文的被閱讀次數(shù)和下載次數(shù),以及這些次數(shù)的總和隨時(shí)間的變化曲線。例如文獻(xiàn)自2009年5月5日發(fā)表算起到2010年8月15日為止,已經(jīng)被閱讀和下載了共3494次。顯然,總次數(shù)越大就越表示或者這是一篇熱門論文;或者這是一篇重要論文。另有一些刊物將論文按閱讀次數(shù)和下載次數(shù)之和排序,排在前面的被賦予“高訪問論文”(Highly accessed article)稱號(hào);或者將排在前幾名的加以公布。可以想像,這些閱讀者或下載者很可能成為該論文的潛在引用者,不過這要等2、3年之后才能見分曉。在線閱讀和下載次數(shù)反映了論文的即刻以及長遠(yuǎn)影響力,這些指標(biāo)是值得深入研究的。

        7 同行評(píng)議與使用指標(biāo)評(píng)價(jià)之間的關(guān)系

        同行評(píng)議的常用形式之一就是提供個(gè)人推薦信。對(duì)被評(píng)價(jià)的群體、個(gè)人或一項(xiàng)成果由同行專家提供一封或幾封推薦信,對(duì)被評(píng)價(jià)對(duì)象進(jìn)行定性的描述并做出結(jié)論。這種做法需要兩個(gè)先決條件:(1)同行專家必須是真正的同行,即所謂小同行,應(yīng)當(dāng)對(duì)被評(píng)價(jià)內(nèi)容相當(dāng)熟悉和了解;(2)評(píng)價(jià)專家應(yīng)該認(rèn)真負(fù)責(zé)、能夠本著“公平、公正和客觀”的原則無個(gè)人偏見地進(jìn)行評(píng)價(jià)。可是有時(shí)上述兩個(gè)條件很難滿足。隨著科學(xué)技術(shù)的高度分化,產(chǎn)生了隔行如隔山的現(xiàn)象。對(duì)于一個(gè)項(xiàng)目、一個(gè)成果或某個(gè)人的學(xué)術(shù)表現(xiàn)很難找到真正的小同行來評(píng)價(jià)。如果只能找一些大同行甚至外行來評(píng)價(jià),則往往會(huì)導(dǎo)致不公平和不準(zhǔn)確的結(jié)果。同時(shí)由于復(fù)雜的人際關(guān)系(“互評(píng)網(wǎng)”的客觀存在),上述第二個(gè)條件有時(shí)也難以滿足。在這種情況下,雖然是干巴巴的、但卻是定量的和客觀的評(píng)價(jià)指標(biāo)可以彌補(bǔ)同行評(píng)議之不足。在我國,有的管理者在批評(píng)片面使用某些評(píng)價(jià)指標(biāo)的弊端后,正嘗試用更科學(xué)的評(píng)價(jià)方法,比如,一個(gè)院系搞得好不好由國際專家來評(píng)估。那么請(qǐng)看國際專家是怎樣進(jìn)行學(xué)術(shù)評(píng)價(jià)的。針對(duì)Nature雜志的問題:“你們的院系在做出下列決定時(shí),在某種程度上采用科學(xué)表現(xiàn)的評(píng)價(jià)指標(biāo)嗎?”,問卷調(diào)查表明[2]:在做出雇傭決定、轉(zhuǎn)正(轉(zhuǎn)為終身制副教授)決定、提職稱決定和學(xué)術(shù)表現(xiàn)鑒定方面,回答“Yes”的占問卷的70%左右,而回答“No”的只占10%-20%。而在工資決定和研究經(jīng)費(fèi)分配兩方面,回答“Yes”和“No”的大致相同。由此可見,國外的管理者或?qū)<以趯?duì)許多問題做決定時(shí),學(xué)術(shù)評(píng)價(jià)指標(biāo)起著重要的作用。針對(duì)Nature雜志的另一個(gè)問題:“對(duì)于評(píng)價(jià)指標(biāo)的使用方式,一般說來你滿意程度如何?”,約1/3的問卷回答“一點(diǎn)也不滿意”; 超過1/3的問卷反饋“不是非常滿意”;而將近1/3的問卷說“極為滿意或非常滿意”。在我國,就有管理者不滿意評(píng)價(jià)指標(biāo),說他們只看推薦信,不看什么指標(biāo)。但是清華大學(xué)施一公教授一語道破了天機(jī),他說:“我們并不看(被評(píng)價(jià)者的)論文發(fā)表記錄,也不告知同行評(píng)議者這么做,但實(shí)際上評(píng)價(jià)指標(biāo)確實(shí)有影響,因?yàn)橥性u(píng)議專家會(huì)看這些東西。”。這種情況被描述成:“定性的推薦信有時(shí)從后門引入定量的評(píng)價(jià)指標(biāo)”。這說明,在做同行評(píng)議時(shí)適當(dāng)參考評(píng)價(jià)指標(biāo)可能使其評(píng)價(jià)更客觀和更公正。完全排除評(píng)價(jià)指標(biāo)的作用是不可取的。如果找不到適當(dāng)?shù)耐衼碓u(píng)價(jià),就要考慮使用評(píng)價(jià)指標(biāo)來評(píng)議了,但是完全依靠評(píng)價(jià)指標(biāo)也是不可取的。在此情況下,還要盡量收集各種同行的意見,如:在各種引用中引用者如何評(píng)價(jià)被引用的內(nèi)容?被評(píng)價(jià)者是否作為主講人(Keynote speaker)在重要的國際會(huì)議上做過報(bào)告?被評(píng)價(jià)者的文章發(fā)表后是否另有專家撰文予以正面評(píng)價(jià)?如何評(píng)價(jià)?是否被邀請(qǐng)?jiān)谥匾膶I(yè)刊物上發(fā)表綜述文章?等等。總之,凡涉及對(duì)個(gè)人學(xué)術(shù)表現(xiàn)的評(píng)價(jià)時(shí),在定性的描述中可引入定量的指標(biāo)加以佐證;在使用定量的評(píng)價(jià)指標(biāo)時(shí)可引入引用者的定性的描述加以補(bǔ)充,綜合考慮各種因素之后再做結(jié)論。最后我要著重指出:學(xué)術(shù)評(píng)價(jià)是一個(gè)復(fù)雜的科學(xué)和社會(huì)問題,沒有最好的答案,只有更好的答案,學(xué)術(shù)評(píng)價(jià)工作要永遠(yuǎn)處在不斷地改進(jìn)之中。

        (轉(zhuǎn)載自<<中國科學(xué)基金>>, 第24卷,第6期, 2010年報(bào)11月, 328-332. 作者張春霆,天津大學(xué)生命科學(xué)與工程研究院教授,中國科學(xué)院院士)

        參考資料

        [1] 中國科學(xué)基金,張春霆院士:學(xué)術(shù)評(píng)價(jià)的評(píng)價(jià)


        聲明:化學(xué)加刊發(fā)或者轉(zhuǎn)載此文只是出于傳遞、分享更多信息之目的,并不意味認(rèn)同其觀點(diǎn)或證實(shí)其描述。若有來源標(biāo)注錯(cuò)誤或侵犯了您的合法權(quán)益,請(qǐng)作者持權(quán)屬證明與本網(wǎng)聯(lián)系,我們將及時(shí)更正、刪除,謝謝。 電話:18676881059,郵箱:gongjian@huaxuejia.cn

        主站蜘蛛池模板: 美国派2电影| 玉蒲团之愉情宝鉴在线观看| 行尸走肉第三季09| 台剧浪漫女家教免费播放| 电视剧《装台》| 婚前示爱| 黄昏英雄传2攻略| 猫狗大战1在线国语免费观看| 法国航空空姐2016中文版视频| 斗破萧羽| 施公案全集| 乡村老板:致富全村短剧全集| 偏偏喜欢你 电视剧| 法国空姐满天星法版全集| 契约婚姻| 电影《坠落》在线观看| 我想打死你| 《美容窒:特殊服务3》| 黑鹰坠落满天星高能版| 一路向西 王静| 迷你世界传送门有几种| 《被拒绝的爱》结局| 经典947| 法国女超人2013麦乐迪在线观看| 谁和她睡了百度影音| 我们这一辈| 苍老师100部经典电视剧免费观看 三年成全免费看高清影视大全 | 保罗雪莉禁忌1-4| 《特殊游泳集体》免费观看下拉式 | 《风月宝鉴》完整版在线看| 赤坂丽《牙医诊所》在线观看免费 | 康熙微服私访记第二部| 枪神 STARGAZE电视剧| 特殊保险推销员5| 5哈第一季| 韩国电影理发店特殊的待遇| 电视剧东陵大盗| 赵灵儿获刑| 激战丛林满天星法版完整版| 大南迁全集在线观看| 电影双凤奇缘| 国家审计电视剧全集| ay电影| 奇怪的美容院2| 单身女王| 巴巴爸爸国语高清| 电视剧如懿传| 电视剧乡村都市情| 愁愁愁30分钟电视剧在线观看我| 幸福里的故事| 需要父亲的种子2| 古惑仔6国语高清免费| 小神八不可怕电视剧| 战狼6| 时光与他 恰是正好| 八戒八戒八戒8免费观看电视剧大全八 | 我的野蛮王妃下载| 瓜达卢佩的玫瑰电影在线伦理片| 姨妈后现代生活| 落魄贵族琉璃川在线观看全集高清免费普通话 | 站着再来一次第6集全集观看 | 聚会的目的在线播放4| 天注定在线观看免费完整版| 爱我几何观看完整免费高清| 大侦探福尔摩斯| 搞笑一家人第一部| 芭芭拉《禁忌5》| 战狼16欧式少女版资源百度云链接| 东北往事之黑道风云20年21集| 我和你吻鳖| 和部长一起去出差旅是第几集| 人民的名义dvd版| 武则天风流艳史| 坎贝奇《品味人生无憾》完整品味人| 特种部队2百度影音| 血洗红花亭无删减完整| 先结婚后恋爱全集| 善良的丈母娘| 第五元素| 售楼女的秘密在线观看| 南航空难黑匣子录音| 爱情公寓3演员| 2对2:三人一次性体检| 浦安铁筋家族| 都是兄弟电视剧全集| 摇啊笑啊桥2018| 千香电视剧全集免费观看高清| 《义子侵犯》完整版| 泰剧乱点鸳鸯谱| 《家属动漫6全集》动漫观看| runningman全集在线播放| 白峰美羽主演视频在线观看| 思春期动漫| 满天星版《超女麦乐迪》在线观看 | 豫剧程英救孤| 妻子的秘密免费版电视剧大全| 电视剧东陵大盗| 绝世双骄主题曲| 阴影下的秘密2| 眨眼之间全集观看| 庆余年2日韩剧在线观看高清| 莲花楼高清电视剧免费观看完整版| 青蛇未删减| 三圾片2013大全电影| 天与地港剧| 烧酒舞歌词| 奥美迦奥特曼中文版| 电视剧相逢时节| 野战排国语| 电影蝎子| 花样男子国语版高清| 桐柏英雄电视剧| 欧洲性旅行 百度影音| 动画片喜羊羊与灰太狼免费观看| 法证先锋4国语版免费下载| 人在囧途2| 玉女心经之| 刘玥演的电影免费观看| 妻子的谎言免费版电视剧| 五十玫瑰大结局| 欧洲股市开盘暴跌| 一打开就是立体的贺卡| 法国空乘5在线看免费高清全集| 一枪三姐妹高清观看| 商务旅行戴绿帽在线观看| 我爱男闺蜜迅雷下载| 赛伦电影成人版无删减| 水电工的艳遇1日本电影| 退魔师| 中国直销论坛| 男女一起愁愁愁在线视频| 《泡我家的辣妹》动漫观看第一集| 新金银悔6-10集的播出时间和角色 | 龙过鸡年| 陪你一起好好吃饭在线观看| 逃狱兄弟在线播放完整版| 亲蜜情人之无限诱惑| 当蜜桃成熟时33d| 《外卖员的特殊待遇》| 《疯狂农场3》免费观看中文版 | 人世间电视剧在线观看免费完整版| 我的xl司令第2季无马赛免费播放全集| 《爱情回来了》电视剧| 《品味人生》全集免费看| 法国空乘5免费高清原声满天星美版百度| 徐若瑄 av| 黑色眼泪1985原版| 双人舞茶山情歌| 针锋对决无删节完整版| 斗破苍穹105集免费完整版| 都铎王朝第一季qvod| 荷尔蒙6荷语中文版| 赖猫的狮子倒影全集在线观看| 美少女还我h之魂| 大长今在看着| 电影美乃雀主演在线观看| 神探夏洛克可恶的新娘字幕| 电影《需要爸爸播种子 2 | 当不住的疯情| 归路全集免费观看| 尼玛县| 《朋友的妈妈》2中字头歌词青岛| 动漫女孩触手| 明日战记在线观看| 金鱼妻电视剧| 牧教师在线观看| 3d蒲团肉完整版电影| 危险飞行| 丁冬影视 理论片| 幸福到万家电视剧在线观看21| 西藏秘密电视剧| 驯龙记国语版| 一起来看流星雨电视剧免费全集| 还有明天韩剧| 伦理片:维修工艳遇| 对你的想象高能片段| 活佛济公下载| 需要爸爸种子在线观看电视剧意大利| 天使之爱| 《在姨母家的客厅》| 好看的国产动画片| 我们十七岁| 千金驾到全集免费| 侯门嫡女:谋略定乾坤全集免费| 电影 廊桥遗梦| 贪婪:欲望之岛 电影| xl第二季无马赛第八集| 分歧者:异类觉醒| 大夏傻神短剧1-100集完整版| 昆仑神宫电视剧16集在线观看| 高清《余罪2》全集在线观看| 唐人街探案 3在线观看| 白日梦2在线观看| 淫间道| 六指琴魔 电视剧| 韩国电影精油按摩师| 遇见波莉| 插曲的痛第60集免费看| 邻家女孩百度影音| 保罗一家1-4美国版| 韩国三级《交换温柔》| 爷爷的幸福生活小说在线阅读| 地下交通站二部全集免费观看| 春夜染明月短剧免费观看| 女子特工队满天星1973版在线观看| 马永贞之英雄血国语| 五十道阴影| 桃色凶器在线播放| 迎风的青春电视剧免费观看全集 | 假面骑士01全集免费观看完整版| 藤田梨爱| 丹江口市| 平凡之路在线观看| 甜蜜惩罚13| 重生巨龙猎艳御女林| 喜爱夜蒲未删减| 美容院的待遇5韩剧| 沸腾人生电视剧40集免费观看| 《枪侠》电视剧| 冰雪奇缘1普通话版| 《杨贵妃秘史》完整版在线观看| 萝卜丝烧带鱼| 心动密码全集观看| 修理工的艳遇日韩伦理片在线观看| 夺命手机| 尼姑小寡妇免费播放电视剧| 黄晓明潜行者电视剧| 咱们结婚吧26| 《大学生精油按摩》2| 浪漫玛丽国语版全集| 《大兵的寝室》美剧免费观看全集 | 啄木鸟《女拳击手2满天星版》| 国王在冬眠免费观看| 美国式保罗4| 女教师被入侵电影| 相约青春| 乡村也疯狂| 豫剧刘墉下南京全集| 比悲伤更悲伤的故事结局| 美国特别酒店2| 山河令36集全集免费播放 | 我的不靠谱白马王子| 私人航空电影高清完整版在线播放 | 没有怜悯的世界免费高清观看| 女战狼6女战狼免费播放| 蜡笔小新第一季国语在线观看| 电影《千金奴》免费观看全集高清| 《聊斋艳谭8陆判性经》| 趴耳朵的幸福生活全集| 与部长出差的日子电影| 恋爱暴君1| 丑闻在线观看| 激战丛林在线观看洛克帝希佛| 黑匣子情况公布| 满天星电影在线观看完整免费| 比特铃手机diy大师| 西瓜英文| 致命诱惑电影| 大明风华1-62集免费| 无赖勇者的鬼畜美学| 甜性涩爱百度影音| 恋爱暴君2动漫| 小男人爱上大女人| 大秦帝国第二部在线观看| 裸体监狱女子监狱| 星期三电影| 维生素爱香水| 坎贝奇在线观看免费版| 30集电视剧关中匪事免费观看| 哪吒2魔童闹海| 一路向西 王静| 满江红电影免费观看高清| 周冬雨深夜烂醉如泥| 防控措施要更有温度| 黑白配高清国语版大全| 玻璃之城在线电视剧免费观看| 超级警车动画片全集| 黛比浪漫女家教国语版| 运河边的人们电视剧免费观看| 天下第一演员表| 浓情女人| 脸庞电影| 亲吻姐姐第1季全集| 至8女人心| 学生的妈妈在线播放| 《女教师3》在线观看| 圣母在上ova| 电影一九四二在线观看| 匹兹堡医护前线 第二季| 晚秋影评| 英雄本色2| 漂亮妈妈7字头| 不再沉默西班牙电视剧在线观看| 《售楼小姐的秘密》在线观看| 先生你哪位| 暴躁46集全在线观看免费高清/1| 江湖兄弟电视剧| 彭丹《蛇王波后》| 京城绯闻电视剧| 女版坎贝奇无删减在线看| 长城电影发布会| 贤妻 影音| 正在播放: JUQ-345 我的无精症丈夫什幺都不知道。我恳求一位匿名男子进行性爱 | 日军屠杀慰安妇影像| 法国农场全新正版| 大地第三资源网免费观看电视剧| 潜伏29| 《除却巫山》未删减版| 黄河在咆哮| 玩火市长| 公之手中字和公中中家的区别| 韩剧鲨鱼| 威尼斯三部曲之3| 高压监控法国版| 影音资源网| 沧元图动漫60| 周弘版村枝(原版)| 苏州河在线观看| omoflow第一集真人版| 情色小游戏| 《灰姑娘》满天星版| 德古拉 希尔达| 白峰手机版免费观看| 新版春去春又回| 高压监狱2在线完整免费| 妻子的谎言 电视剧剧情免费观看| 曹操跑腿| 想爱就爱1电影| 隋唐英雄第三部全集| 盟约2023战争片在线观看| 爸爸的朋友2免费中字翻译木瓜 | 河北三佳购物频道| 不说谎恋人免费观看全集 | 满仓进城免费观看全集完整版| 单身即地狱第三季在线观看| 电影推油| 热辣滚烫电影免费| 周弘版《村枝》高清版在线播放| 军火女王 第二季| 军事不当行为电影全集在线观看高清 | 巜人妻初次按摩2视频| 我和黑帮老大在一起的第365| 蒋玲玲版《渔夫的荒野食记》电影医| 月上重火免费观看| 男人女人愁愁愁免费观看| 财阀家的小儿子 电视剧| 1新金银悔1一5普通话| 色情玉蒲之玉女心经电影| 安姨电影免费观看| 穿靴子的猫第二季国语版| 黑白配国语版免费观看中文版| 捉妖战记| 抗日传奇| 失忆娇妻短剧全集| shameless第三季免费观看 | 北方影院迷宅幻影| 蜡笔小新恐龙| 秘密销售| 《漂白》| 掌中之物西班牙版本无删减| 我的世界籽岷虚无世界2| 黑色名单电视剧全集在线观看| 女警坠落| 欧美vivoestv高清| 金汉斯烤肉自助| 医爱之名泰剧| 二对一:三人一次性体检4在线播放| 幸福满院电视剧| 3d极乐宝鉴| 常盘贵子《恶魔之吻》 | 微播音乐| 《机智的医生生活》电视剧 | 与部长出差在线观看| 搞基是什么| 爱上他的漂亮妈妈| 美国妈妈需要播种在线电影吗| 小小蜜桃3[电视剧]免费观看| 意大利私人女人监狱免费看| 大道朝天动漫在线观看全集免费播放| 清风阁我爱干视频| 冤罪 bl| 天使的3d动漫| 美丽小瘦子7| 黄飞鸿之壮志凌云| 四川40岁阿姨免费观看电视剧| 行政助理2014完整版| 女健身教练| 卧底娇娃电视剧| 有色视频| 23部人禽伦交| 爱我多深未剪原版在线观看| 劳拉婬欲护士中文在线观看| 痛的插曲| 怎敌她千娇百媚 电视剧| 宫交视频| 黑暗天使萧淑慎| 免费观看97| 女女女女女女女女| 瓜达卢佩的玫瑰 在线观看| 时光正好电视剧免费观看全集高清| 阴阳镇怪谈在线观看免费完整版| 健男抢钱团| 禁忌4年转一代禁忌| 五妹影视剧大全免费观看黑暗荣耀| 《蔷薇风暴》| 法国空姐八部曲系列| 终极三国土豆网| 巨乳女医生的特殊治疗电影| 《无敌少侠 第四季》| 《特殊保险销售员》| 高校教师在线观看免费| 歼灭天际线1-62集免费| 野性陷阱| 女超人满星版麦乐迪北欧精灵| 预感泰剧| 电影《女校长》完整版| 《密会》| 让子弹飞完整版免费观看| 年轻母亲2| 高清《恶魔搬进来了》电影| 斗罗大陆206集免费观看 | 美国谍梦| 子弹慢镜头| 《特殊游泳课》免费观看下拉式| 他说爱情已迟暮短剧免费观看| 厚颜无耻韩国动漫观看免费| 美国的忌讳1-5| 借种之灭门| 《荣誉守则》法国| 杨乃武与小白菜粤语版| 国家机密电视剧| 南泥湾简谱| 保罗3雪莉一家1| 泽塔奥特曼第一集| 绝世双骄电视剧完整版在线观看| 天生一对下载| 三年大片免费完整版电视剧有哪些| 搞乜鬼大制作| 杰西壮志凌云2011免费观看| 电影观看免费观看完整版高清| 大兵寝室第一季在线观看| 宝贝宝贝我爱你 陈兴瑜| 玄女心经2免费观看全集| 之后2第二季免费完整观看| 美国式家庭3| 北上电视剧在线观看全集免费播放| 屏边| 李谷一从艺50年演唱会| 斗罗大陆259集| 争宠攻略全集免费| 憨豆先生的大灾难 电影| 连续7天失去理智的日剧是第几集 战狼12欧美版免费观看完整版国语百度 | 河南法治频道在线直播7:50| 地久天长豆瓣| 酒店1-90集在线观看免费高清| 《好喜欢好喜欢同学》动漫| 真实的人类第一季| 行尸走肉第二季12集| 兔子帮游戏| 特殊的保险推销员8中文| 九九电视剧免费观看| 高清《黑老大爱上我》大结局| 小娘惹在线观看| 箭在弦上电视剧1一48集免费观看| 摔跤在线| 需要爸爸种种子| 启示录电影完整版免费观看| w5w5 cc| 画皮2电影| 啄木鸟版壮志凌云电影在线观看完整版| 韩剧爱上女主播| 1987渔夫荒野史记免费观看最新章节列 | 私人家教1983版电影免费观看| 最后一刻| 第二个农场姑娘们| 视频在线观看免费高清| 韩剧《特殊快递员》| 黑天鹅在线观看| 《性的暴行》BD版| 我和女侠有个约会| 《丰满的继牳| 搞笑一家人高清全集| 天降之物14集| 走火40集全免费观看| 《法国空姐8| 离婚前规则主题曲叫什么| 做aj的视频大全电视剧外国人| 我是刑警第六集| 南充火车站| 太空旅客在线观看| 电影叶问4| 三人第一次体检电影免费观看| 2001太空漫游免费| 漯河市| 拜登演讲口误:把女市长叫成男的| 大头的小媳妇| 秘密搜查官の大桥未久| 情欲报复| 美国1985G点中文版| 西环浮尸| ごっくんする在线| 壮志凌云法国版满天星完整版| 高清战旗如画未删减| 电影《爱上女闺蜜》播放| 美丽姑娘免费观看高清| 《Melody女超人》在线播放| 上海地铁内男子耍刀| 教室别恋未删减版| 史蒂夫 科尔| 《仙剑奇侠传三》电视剧| 三飞女闺蜜| 《我的砍价女王》电视剧| 韩版花样男子韩语中字| 新金瓶梅 下载| 木下柚花| 公与三个媳HD| 刀剑神域mad| 还珠格格燕儿翩翩飞| 绝密飞行百度影音| 离婚前规则主题曲| 17·3电影在线观看高清免费| 好想告诉你电影版下载| 高清落叶球| 幸福到万家在线观看全集| 以吾之名在线观看| 赵薇资本布局已20年| 很想和你在一起国语| LX司令第一季动漫免费观看| 张昊唯暂停演艺工作| 安徽民间小调憨子| 美国派2| 3d人肉蒲团之极乐| 全球冠军:电竞大神全集免费| 金并梅电视剧全集免费观看| 《高压监狱》完整免费| 小魔头暴露啦| 他说爱情已迟暮短剧免费观看| 草灯和灯电影完整版在线观看| 电影金刚归来| 驱魔师vs花子| 沧元图第65集在线观看| 东北往事之黑道风云全集免费观看| 春草电视剧全集完整版免费播放| 电视剧神探狄仁杰第一部| 意大利《荒岛女儿国》电影| 女儿谷在线观看完整版| 战旗如画全集观看| 韩国伦理电影维修工的绝对艳遇 | 花样女鬼| 我们民谣2022| 公寓追凶| 上海电视台节目表| 《overflower》真人版结局 | 一点就到家免费观看| 高级贵妇交换俱乐部| 安奇拉拉的电影| 第一伞兵队电视剧| 四大名妓k8经典影院需要爸爸播种| 璀璨人生 电视剧| 罗丽星克莱尔成人版HD版| 对学生会长的忠告全集免费| 《锦月如歌》免费观看| 寒战2 迅雷下载| 韩剧我的女孩国语在线观看| 天美影院电视剧电影在线观看| 小小的我完整版免费观看| 被砍死柯基的女主人发声| 爸爸种子2电影在线播放| 百妖谱第二季| 漠河县| 艾跃进三个不解之谜| 迪加奥特曼动画片| 今夜无人入睡观看完整版| 韩剧亲爱的X| 北上电视剧免费观看高清| 冰血长津湖纪录片| 吴健版《农民伯伯2》电影免费观看| 高清《他乡的童年》在线观看| 我推的孩子第一季| 他说爱情已迟暮免费| 金并梅电视剧全集免费观看| 高清《秘密森林》电视剧| 电影唐伯虎点秋香| 弃女重生:邪王追妻全集免费| 朋友交换| 黑龙江尚志九江村整村失联| 制服诱惑免费观看| 美国往事| 麦金尼满天星免费观看| 全职高手电视剧免费 | 釜山行2半岛在线高清免费观看| 销售的销售秘密6HD中字| 姐妹兄弟3免费观看电视剧| 三莽入洞在线观看完整版强奸| 年轻的阿姨5中字电影| 男女一起愁愁视频免费观看高清完整版| 女上司的堕落:复仇让她彻底沦陷电影 | 法国私人助理1982年 | 亲爱的设计师| 挚爱游戏樊治欣全集免费观看| STAR471电影在线观看| 还珠格格第1部全集| 蝙蝠侠与罗宾| 博乐市| 斗罗大陆2绝世唐门在线| 电击小子第3部四圣团| 激战丛林3女兵免费观看高清| 八百壮士电影| 剪刀手爱德华| 法国空姐8| 正义之剑| 剑蝶电视剧全集| 孝庄秘史土豆网| 四少妇按摩无码高潮片| 第11集| 恋爱之瘾台湾剧免费播放在线观看| 北大教授王福重| 女超人满天星无删减麦乐迪版种子| 叶罗丽精灵梦第八季第四集| 赘婿在线观看完整版| 杀死汝爱 下载| 21世纪爱情指南免费看在线| 美容店的待遇免费观看 | 插曲的痛60全集免费观看高清版无马| 环太平洋百度影音高清| 神隐40集电视剧在线观看免费| 菅谷梨沙子快播| 卧底48天全集在线看| 妇科诊室2满天星| 高清《狙击手6》在线观看高清 | 动漫《迷情4》全集免费观看| 部长出差日子电影免费观看 | 安丘市| 猛男诞生记下载| 世界之战高清| 日本电影《牙医姐妹》在线观看| 扫毒1国语版免费观看| 坏中尉 下载| 马英九民调| 尸病污染| 全明星之夜| 火山高校国语| 唔该借歪| 麦乐迪家庭矛盾在线观看完整免费高清原声满天星百 | 半甜欲水1V6| 爱我几何莫妮卡原版免费观看| 哈尔的移动城堡电影| 蜜桃成熟时三人同眠| 部长出差的日子电视剧| 末日袭击| 哆啦A梦:大雄的金银岛电影| 恶作剧之吻第一部优酷| 艾曼纽3| 周淑怡PGONE酒店| 《放映》完整版观看| HD版《人猿泰山H版》完整版意大利| 别对我说谎 电视剧| 乌蒙小燕| 爆操老妈高清1至46集| 唐朝好男人下载| 斗罗大陆2绝世唐门39集免费观看| 扫毒风暴全集高清完整版免费观看| 怪盗女谍之天海翼免费播放下载 | 超级快递| 野花在线观看免费观看高清中文| 情陷夜中环2| 奇妙发型屋2免费完整版神奇理发店 | 绝命派对 电影| 怦然心动20第三季全集免费观看| 公浮之5| 哈哈哈哈哈第二季免费观看完整版| 跑男第二季在线观看| 售楼女的秘密在线观看| 乳品分类| 最初的相遇1到40集在线观看| 李卫当官第二部| 翻云覆雨电视剧| 电锯人二免费观看高清 | 壮志凌云女飞行员版本| 雪豹优酷| 女人当官电视剧免费观看| 特殊的房产销售电影在线观看| 哆啦a梦电影大全免费中文版| 月上兔泰剧电视剧免费观看| 辽宁卫视网络直播| 欧式少女全集观看| 高清《英雄百夜》电影| 一门三司令电视剧| 免费观看回复术师的重启人生| 还珠格格之燕儿翩翩飞优酷| 《混血儿的摇篮曲》1973| 365日:今时之欲在线| 美国式忌讳第17集桥矿| 神探狄仁杰6免费观看完整版| 韩剧女友的母亲双字ID | 女匪传奇第二部| 妖仆x狐ss| 特别酒店3跳舞| 电视剧外姓兄弟| 售楼小姐的秘密韩国电视剧 | 我是传奇2在线观看| 粗大的内捧猛烈进出老师下载| 高压监狱完整免费高清原声奔跑吧| 《叔叔》完整版| 《花非花》电视剧| 韩国男按摩师吸乳房在线观看| 鬼吹灯有声小说在线收听| 庶女有毒全集免费| 人民的名义免费看| 银瓶梅电视剧第5集电视剧高清版免费观看| 疯狂动物城免费中文版| 《美丽的秘密》完整版| 高清鬼女之家| 混血的摇篮曲| 碟中谍5:神秘国度| 五号特工组第二部全集| 女主替父母还债的韩剧| 穿越火线电视剧全集免费观看| 傻妃狠嚣张| 法国版《女超人:麦乐迪》在线播放视| 无法开口| 赵琳的探险日记| 不完美的受害者电视剧| 铠甲勇士全集播放| 凌云壮志女版满天星法版免费 | 正在播放: DRPT-048 春药曝露性爱 仓田真央带乳头导线与前女友相见 十年来同 | 借种电影完整版| 高清《狼王》电影在线观看| 北越暴行2完整版免费| 《特殊瑜伽精油课》| 凯特的外遇日记| 我的战争| 多大点事啊电视剧在线观看,天海翼香汗女教师在线播放,剧情片全集免费播放免费 | 漂亮妈妈7| 辣妹子电影电视剧在线播放| 全美超模大赛第20季| 安吉县| 王杰2000演唱会| 辛巴狮子王第二部| 马达加斯加3插曲| 八戒 八戒七| 电影《种马猎人》在线观看| 明星有戏寻找唢呐王| 《和部长一起去出差旅》免费观看完| 还珠格格第一部高清| 《激战丛林2》满天星| 黑袍纠察队 第四季 免费| 少林七崁| 天装战队护星者剧场版| 一起愁愁愁30免费观看完整版| 扶摇 电视剧| 有形的翅膀mv| 妻子8免费全集高清观看在线| 大邱庄钢材女销售于淼在线观看| 小娘惹在线观看电视剧剧情完整版 | 三年免费高清第一集在线看| 少女大人电视剧在线观看| 《折腰》1-36折腰电视剧| 正在播放: JUL-601 你真的是处男吗?因为发现丈夫出轨被自称童贞的男子欺骗身 | 战狼7高清版999加拿大版 | 美国电影《需要爸爸播种2》在线观看 | 《法国空姐4| 打扑克下蛋怎么玩| 画皮真爱无悔| 荣誉守则完整版在线观看| 再见爱人第四期在线观看| 韩国电影妈妈的女儿| 林俊杰成都演唱会| 特殊的温泉课HD中字| 死神来了8| 爱情有点蓝| 电视剧游击兵工厂| 房奴电视剧全集免费观看| 通江县| 爱丫爱丫免费版电视剧| 教练把我压在方向盘上| 西铁学校操场鬼火事件| 爱壹帆电视剧| 六德女员工在工作中作弊5_午夜电影全集_完整版免费在线观看-天天影院 | 麦乐迪女超人高清下载| 《丈夫上司部长与妻子| 清纯小护士| 电视剧秋蝉免费全集| 要爸爸的种子| 初次见面4秒就合体| 纸箱包子| 天鹅挽歌| 维修工人的绝遇2中文版免费观看| 国产三级片岳母的味道完整版| 绝世战魂免费观看完整版动漫 | 房奴试爱电视剧全集完整版| 入青云电视剧免费观看| 踏血寻梅| 容嬷嬷的小黑屋| 毒战首映礼| 金银瓶1-5集普通话全集| 我与黑帮大佬| 阿西门的街| 夺冠电影| 圣托贝热女孩1982国语版免费观看 | 按摩店待遇5电影| 女排决胜局1-6输球| 马上天下| 天海翼在线| 李延亮黄贯中| 浪客剑心免费观看| 铁流1949| 黄大妮电视剧免费观看完整版 | 高清《鸽乳》无删减版| 三星手机广告曲| 高清他和她的谎| 燕子李三传奇电视剧| 法国空乘5在线观看| 蓝色的帽子在线观看| 单身即地狱每周六几点更新| 用我的手来打扰我吧| 好姑娘4电视剧在线观看| 新三国1至95集免费观看| 《第一次经历秘密》刘智贤| 欧美同志高清vivoeso| 电视剧国家形象| 心里的声音第一季| 西安董雷案| 法国婬乱私人航空6| 九一传剧mv免费观看影视大全| 让我听懂你的语言电视剧免费观看| 还珠格格第一部1一24集| 放飞旅行团全集观看| 梁山伯与祝英台在线观看| 德川公主| 柱训练篇| 金银悔5一1手机| 楼上的女邻居电视剧剧情介绍| 孤男寡女粤语| 北京遇上西雅图之不二情书 电影| 三大队电影免费抢先观看| 白鹿范丞丞合唱狂恋| omoflow第一集真人版| 栋仁的时光| 暮光之城4快播| 汪汪队立大功全集免费中文版| 在线观看蜜桃17| 梦回鹿鼎记完整版| 抗联敢死队之红雪| 售楼员的秘密| 二婶电视剧全集| 激情社区在线观看| 巢湖市| 电视剧兰陵王吧| 青梅竹马是消防员无删1| 黑白配免费观看高清播放|