NExT-GPT

NExT-GPT は大言語モデルを中枢として、異なるモダリティのエンコーダーとジェネレーターを接続しています。ユーザーはテキスト、画像、動画、または音声を入力できる一方、システムは別の、または複数のモダリティを出力します。

その意義は、マルチモーダルを「画像・テキスト質問応答」からより完全な任意モダリティ相互変換へ推し進めることです。

マルチモーダルは大規模言語モデルの次段階の中核的な方向の一つです。NExT-GPT が早期に探索していたのはモデルオーケストレーションの問題です：異なる専門モデルが LLM を中心に協調するにはどうするか、ということで、すべての入出力タイプに対して巨大なモデルを再訓練するのではなく。

このアプローチは研究にとって重要であり、また応用層に対して構成可能なアーキテクチャの参考も提供します。

NExT-GPT は、NUS がマルチモーダル基礎研究で世界的に可視化できる成果を有することを示しています。これはシンガポール現地のアプリケーションプロジェクトではなく、シンガポール学術機関がグローバルモデルパラダイム競争に参加するサンプルです。

このようなプロジェクトは、今後、引用文献の継続的な補充、後続モデル、産業化、および NUS の他のマルチモーダルチームとの関係を継続することが適切です。