分析考滿分口說評分系統















暑假在奮戰托福的同學們好,我是SK2 TOEFL 衝刺班的口說顧問David,喜歡破解系統、寫分析文。本篇分析一個重要的問題:如何使用考滿分的 speech-rater 口說評分系統,來讓你的托福口說分數提升。 



考滿分的網站上,新推出了托福口說和寫作的電腦評分系統。口說部分,只要你錄音完成,就可以得到電腦自動的評分。然而這些評分準嗎?哪些項目 有參考價值,哪些項目不用理他? 


由於我考過八次托福,口說分數全部落在28- 30之間,故認為以我的回答來做測試的樣本,有相對高的參考價值。 


大前提:任何評分,包含考滿分的自動評分、你和朋友之間互相給的 feedback、來自SK2 口說顧問們的feedback 或是寫作顧問的作文批改,都 只是協助你「找出問題」。找出問題之後,務必去思考、嘗試不同的「解決 問題」方法,而不是不斷地繼續做題,否則問題只會一直重複出現,讓你難 以改掉不好的習慣。 

首先,我認真做了一次TPO 21 回口說一~六題,分數如附圖。 

https://imgur.com/WDnVa7q 

 
https://imgur.com/MVYVVT4 

 
https://imgur.com/4OogjH6 

 

整體來說,除了「詞彙」的兩個項目,以及「句間邏輯」,得分全都是四顆 星。而和過去我的多次實戰分數比對,可知即便系統在「詞彙」、「句間邏 輯」部分不一定給出高分,只要其他部分的評分高,實戰的分數依然可以很高。 


由此我可以給出第一個建議:不用去在意該系統給的「詞彙」部分評分。 如同我和許多同學實戰的經驗,即便你沒有華麗的詞彙,依然可以得到高分。 


第二次測試,我決定測試下列幾件事:「系統能否判斷內容離題」、「停頓 頻率」、「口音的影響」、「句間邏輯」(也就是transition words 的使 用是否正確)。 


我重複回答了TPO 21 回的第一題,並且刻意文不對題、使用黑人口音、刻 意將停頓時間拉長至約一秒。回答的逐字稿事後整理如下: 


My favorite subject is definitely math. Because I’ve always been a stupid person, however, after I learned math, no one can call me a stupid person anymore. In the past, whenever I went to the supermarket, people always lied to me. To be more specific, they always didn’t return me the correct amount of money. It was always 2 dollars, or 5 dollars, or 10 dollars short. However, after I learned math, I was able to kick their ass. I was able to point out the money was short immediately. So no one could lie to me anymore. That’s why math is definitely my favorite subject. 


其結果,分數為3.4 ; 停頓頻率三顆星;詞彙重複頻率三顆星;句間邏輯 兩顆星;詞彙部分評分無視;其他四顆星。 


由此可知: 


一:系統無法判斷你在回答哪一題,故各位平常練習一二題時,可以隨便選 題目,再使用考滿分的網站錄音,部分聲音的評分項目仍有參考價值,請見 下文。 


其二:系統對「停頓頻率」的判斷算是準確,當你的停頓時間太長,便會被 判斷為「停頓頻率」太高。較好的停頓時間大約為半秒左右。然而,在句子 中間不需要害怕略作停頓,能停的時候稍微停一下,可以讓你的「停頓恰當 性」更好。 


其三:系統會抓transition words;多使用transition words 會讓你的答 案句間邏輯更清楚,溝通時,更容易被人理解。 


其四:你有口音,不會影響發音部分成績——只要你的重音、母音都有發對。 


第三次測試,測試下列幾件事:「系統能否判斷你的語調好不好」、「系統 能否判斷transition words 使用是否正確」(也就是句間是否真的有邏 輯)、「系統能否判斷內容的發展性、例子的說服力好不好」、以及和流暢 度相關的「語速」、「連貫度」、「停頓恰當性」等等。 


我又回答了一次TPO 21 回的第一題,刻意不深入發展細節、製造出某些發 音問題、沒有語調、講得很快、用一堆沒意義的transition word。回答的 逐字稿事後整理如下: 


An important news event that happened recently in my country is that there was a typhoon vacation for everyone. Now this was important, because everyone was able to enjoy a day off, and did not have to go to work. To be more specific, typhoon came two weeks ago, and everyone was kind of worried, because the rain was really big, there was a lot of rain, so the government announced there was going to be a break, a day off for everyone. So, everyone was able to secure the safety of their houses, they lock the doors, they did not go out, and it was important for people to know the government announced the break. 


其結果,分數為3.4 分;詞彙部分評分無視,其他意外的全都四顆星。 


由此可知: 


一:系統無法判斷你的語調好不好——實戰中這一定是重點。要練習你的語 調,請多echo我們上課提供的示範音檔,和示範音檔的聲音起伏比較,也需 要好好交作業,去讀書會,請口說顧問、請戰友幫你聽。系統是無法幫你指 出語調上的問題的。 


其二:系統無法判斷你的句子間是否真的邏輯清楚、或是transition words 其實不斷重複。只要你有狂放,這部分的評分就會高,然而實戰中卻不一定 是這樣——你的transition words 還是要多用,但是不應該一直重複,也 需要確認放哪個才是正確的。 


其三:系統無法判斷你的例子發展是不是具有說服力的。所以,請務必去讀 書會、或和口說顧問們提供的示範回答多比較,你才能真的找出問題、解決 問題。例子的發展性是口說一二題的高分關鍵之一,請不要輕忽。 


其四:系統無法真的指出你的發音問題,或是你的語速太快。 


我的這幾個口說一二題回答,45秒差不多用了120 字左右。在口說顧問提供 的示範回答中,也差不多是這個數字;45s = 110- 130 字。建議同學語速 可以以這個數字為基準,超過一些些可以,但不應該低於100 ,否則流暢 度、停頓會受到影響。 


三次測試下來,整理以下建議給用考滿分練習口說的同學: 


1. 可以用評分系統來了解你的語速是否太慢,太慢的話請多練習朗讀示範 回答,讓自己的回答語速能稍微提升


2. 可以了解你是否停頓時間太長,太長的話可以嘗試自己打拍子,打一拍 差不多就是半秒 


3. 可以了解你是否使用的transition word 太少,太少請自行複習社團中 我發的「如何使用transition words 影片」 


4. 如果你要確認你的語調、發音、例子發展、邏輯,評分系統基本上沒有 很大的參考價值;請自行多和口說顧問們的示範音檔比對,多去讀書會,讓 同學給你意見,點出你的問題 


總體來說,判斷”fluency” 是這個評分系統的長處之一,其他目前還不 是。網站上考滿分的建議是:「经过考满分老师已经对用户数据分析,建议 评分报告中重点关注以下维度:语速、连贯度、停顿频率、词汇或短语重复 频率、重音与节奏、元音饱满度等。词汇、语法两个维度可能会因为录音设 备的不同以及人类评分的权重,评分有一定的偏差。」概念是差不多的。 


根據網站上的說明,3 分以上等同於托福口說24分以上。也就是說,如果你 的回答分數都可以到3 以上,說明你應該不需要擔心語速、停頓等fluency 相關的問題;你更應該專注在語調、例子發展等其他面向。那麼,練習時也 就不一定要使用這個網站。你更應該去多聽SK2 口說顧問們的示範音檔、參 與讀書會,得到「只有人才能給你的建議」。 


以上分析,分享給各位。科技的進步讓我們可以有更多的練習選項,但要進 步、提升分數的本質不變:「找出問題」、「嘗試解決方法」、「突破,去 面對下一個問題」。隨著問題越來越少,你的分數自然也就會越來越高。 



~SK2 David 



*** 

SK2 TOEFL Consultant Group 顧問專欄、免費公開課、課程資訊: 
https://julieyel.blogspot.com/ 

加入托福高分破100、破110 人數最多的SK2 TOEFL 臉書: 
https://www.facebook.com/groups/435337806551600/ 

加入GRE 高分人數全台北第一的Mason GRE 臉書,了解最新GRE資訊: 
https://www.facebook.com/groups/GRE340/