今話題のOpenAIが開発したChatGPT（Generative Pre-trained Transformer）ですが、2023年3月にGPT-3の後続モデルとして、GPT-4がリリースされました。
GPT-3と4との違いですが、アメリカの司法試験などをGPT-4 に受けさせた結果、GPT3.5 の場合下位10％の成績で、GPT-4の場合は上位10%の成績になったと言われています。例えるなら、すごく頭の良い天才小学生と、優秀な大学生くらいの差がありますね。
早速、正確性や言語能力にどのくらいの違いがあるか実験してみました。
【質問１】
● 湯郷温泉の効能を教えて
ChatGPT-3.5
岡山県にあるはずの湯郷温泉が、なぜか福島県会津地方にあることになっています。
ChatGPT-4
場所が正確に表示され、ひらがなが振られたり、丁寧で読みやすい文章になっていると感じました。
【質問２】
美作市はどんな町ですか？
ChatGPT-3.5
（誤）吉備津神社、美作市立博物館（そもそも存在しない）、津山城跡、白鳥の里さくら公園
情報にかなりの誤りがありますし、文章も抽象的です。
ChatGPT-4
（誤）備前焼の産地
誤りは1点のみとなり、多少具体的で自然な文章になっています。
【質問３】
岡山県の魅力を教えてください
ChatGPT-3.5
だいぶ間違いは減りましたが、備前焼そばは、備前焼きと、蒜山焼きそばの情報が混ざって表示されたのかと感じます。
ChatGPT-4
かなり具体的に表現されています。温泉名については岡山県の美作三湯（湯郷温泉・奥津温泉・湯原温泉）の情報を表示して欲しいです。最後のおすすめの文章の一行が愛らしいですね（笑）
【質問４】
日本はどんな国ですか？
ChatGPT3.5
ほぼ間違いはなく、特に情緒的な観点で日本の特徴がよく表現されていると思います。
ChatGPT4
数字や世界遺産などの権威を表示しつつ、かなり正確な表現で日本が紹介されています。
実際にChatGPT-4.0を利用してみて感じたこと
・自然言語処理能力がかなり上がった。
・頻繁にされるであろう質問に比例して正確な回答が、数値や権威を持って出力される。
・逆にニッチな事柄の質問に対して3.5では間違えた回答が出る可能性が高いが、4.0は抽象的な文章になるが間違いが少ない。
AIがかなり進化して賢くなってきており、人間が作成する文章に近く、感情も表現されていたりするので、シンプルに日常で使えるツールにより近づいていると感じました。日本がChatGPTを規制するべきかどうかについては言及しませんが、使うのであればどのように使っていくか、しっかりと検討する必要があると思います。
