Cerebras が ChatGPT に似たオープンソース モデルをリリース

発表によると、セレブラスは、1億1100万のパラメータを持つ小規模言語モデルと130億のパラメータを持つ大規模言語モデルを含む、すべてアンドロメダと呼ばれるAIスーパーコンピューターでトレーニングされた7つのモデルをリリースした。モデルのパラメータが増えるほど、より複雑な一般機能が実行できるようになります。

たとえば、昨年末にリリースされた OpenAI の ChatGPT チャットボットには、1,750 億個のパラメータがあります。このチャットボットは詩や研究を作成できるため、AI 開発に対する企業からの大きな関心と資金を集めています。

セレブラス社によれば、小規模なAIモデルは携帯電話やスマートスピーカーに導入でき、大規模なモデルはパソコンやサーバー上で実行されるという。同社は、長い文章を要約するような複雑な作業には、より大規模なモデルが必要であると指摘している。

しかし、「大きい方が必ずしも良いわけではない」と調査会社カンブリアンAIのチップコンサルタント、カール・フロイント氏は言う。

フロイント氏は、ユーザーがさらにトレーニングすれば、パラメータの数が少ないモデルでも正確に機能するという報告がいくつかあると述べた。したがって、この専門家は、パラメータスケールが大きいモデルと、より深くトレーニングされたモデルとの間にはトレードオフがあるだろうと評価しています。

セレブラスの創業者兼CEOアンドリュー・フェルドマン氏は、同社の最大のモデルのトレーニングには通常数か月かかるところ、1週間以上かかったと語った。この高速化は、AI のトレーニング専用に構築されたディナー プレートほどの大きさのチップを含む Cerebras システムのアーキテクチャのおかげです。

現在、ほとんどのAIモデルはNvidia Corp.のチップでトレーニングされているが、Cerebrasのような企業がその市場シェア獲得を競い合っているケースが増えている。フェルドマン氏によると、Cerebras システムでトレーニングされたモデルは、さらなるトレーニングやカスタマイズのために Nvidia システムでも使用できるという。