Image Credit:Guanaco Emerges as a Potential Open-Source ChatGPT Competitor
アメリカのワシントン大学の研究者が、ChatGPTの性能に匹敵するオープンソースのチャットボットであるGuanacoを開発しました。彼らは、QLoRAと呼ばれる新しいfe-tuning技術を使用することで、GPTが必要とする多くの訓練時間とリソースを大幅に削減し、たった1日でトレーニング可能だと主張しています。GuanacoはGPUメモリの使用量を大幅に削減しているため、65億パラメータを備えたChatGPTが780 GBのGPUメモリを必要とするのに対して、最もシンプルなバージョンでもたったの5 GBで動作します。そうしたことから、Guanacoなどオープンソースのモデルは、最高水準の言語モデルに必要な高価な訓練が不要となる可能性があるとされています。しかし、これについては意見が分かれており、カリフォルニア大学の研究は、Dollyモデルと呼ばれる一部のオープンソースモデルの性能について疑問を呈しています。一方で、Guanacoの成果は極めて高く、今後の自然言語処理分野において、GPTに代わる主力モデルとして注目されています。
ワシントン大学の研究者たちは、ChatGPTに匹敵するパフォーマンスを発揮しながら、トレーニングに必要な時間とリソースを著しく減らすためのオープンソースのチャットボット「Guanaco」を公開しました。Guanacoは、Llamaという言語モデルをベースに構築され、QLoRAという新しいファインチューニング手法を組み込んでいます。QLoRAは、トレーニングに必要なGPUメモリ量を大幅に削減するための手法です。Guanacoの要件が最小限の場合、たった5 GBのGPUメモリしか必要ありません。これらの効率のよい結果により、GPTのような最先端の言語モデルのために高額なトレーニングが必要であるという考え方が覆される可能性があります。Guanacoとその他の教育費が数分の1でトレーニングされるモデルの出現により、GPTのような高価なモデルの将来について推測がなされています。しかし、カリフォルニア大学の最近の研究は、アルパカなどのモデルの実力に疑問を投げかけ、その真の可能性について質問を投げかけています。提供された多くの答えを熟知しているオープンソースモデルは、十分にトレーニングされた場合、GPTとの能力にダブらないとしていますが、さらなるテストでは重要な制限が明らかになりました。これらの「Dolly」モデルは、トレーニング中に遭遇した問題の解決を模倣する能力を持っていますが、明示的に露出された課題での能力については苦戦しており、より高度なモデルに遅れています。これにより、GPTなどの高価なモデルに投資された数百万ドルは徒労に終わったとする考え方に疑問が呈されています。GuanacoなどのオープンソースモデルがChatGPTのような確立されたベンチマークにどのように対応するかに興味をもち、自然言語処理の分野がどのように進化するかを見守ることが重要になっています。
引用元記事はこちらGuanaco Emerges as a Potential Open-Source ChatGPT Competitor