這篇”ChatGPT Goes to Law School“，讓ChatGPT真正的應答四個明尼蘇打大學的法律系期末考試題目，並且將ChatGPT的答案卷混在一般學生當中，看最後ChatGPT能夠得到多少分數。

這四門科目各是 : 憲法、員工權益、稅法、侵權。

最後的結果是 : ChatGPT通過了這四門科目的期末考試，得到平均C+的成績。

在憲法法律方面ChatGPT排名第36名 (總共40名學生)，在員工權益方面排名第18名 (總共19名學生)，在稅法方面排名第66名 (總共67名學生)，在侵權方面排名最後一名 (總共75名學生)。ChatGPT在選擇題表現不如申論題，尤其跟數學有關的選擇題上的表現算是很失敗。

總的來說，ChatGPT在法律系期末考試上的表現，目前算是不均衡 (有些題目回答不錯，有些則很差)，但有相當大的潛力和風險，正確的發展有好的用處，但是也有壞的影響。預計這些語言模型將成為實踐律師的重要工具，也對使用它們的學生有很大幫助 (不管是合法或是違法的使用上)。

儘管ChatGPT的表現並不是一位出色的法律系學生，假設它在整個法律學校期間的表現保持不變（並忽略其他涉及不同技能的畢業要求），足以從一所挑剔的法律學校成功獲得法學博士學位 (JD，Juris Doctor，雖然稱為Doctor，但應該只算是碩士程度，因為是學士後去修習的學歷)。在線上遠程考試已成為常態的現在，這可能可以讓一位學生使用ChatGPT而獲得一個不該得到的法學博士學位。

如果學生們開始使用ChatGPT這些工具來增強他的律師能力，那麼我們需要適度的改變教學跟測驗方式。就像計算機發明之後，我們並不會限制學生去使用他，但是我們在考試上就必須做些調整。

這個實驗告訴我們幾個事實 :

(1) ChatGPT確實可以協助學生通過大學課程的測驗，雖然目前只能低空飛過，但是未來會有更不同的表現。

(2) ChatGPT的出現勢必帶動教學革命，因為教學方式跟考試方式都必須調整，否則學生會過度依賴ChatGPT而變成是ChatGPT獲得學位，而學生根本完全沒有學到任何知識。

(3) ChatGPT如果經過正確的引導 (也就是prompt engineering)，可能會表現更加優秀，因此目前不只在法律上，在各種專業領域上，ChatGPT都已經足以擔任一個助理的角色，顯然很多基礎工作的職務都要被ChatGPT取代了。