英語メディア「CNBC」は、すべてのサービスに統合される傾向にあるGoogleの新しい言語モデルであるPaLM 2に関する詳細を明らかにしています。最初のバージョンよりもさらにトレーニングされた言語モデル。
数日前、この記念式典を機に、Google I/O 2023、GoogleがPaLM 2のベールを脱いだのサービスを統合することを目的とした社内言語モデル。グーグル自動テキスト生成を目的としています。によると、この人工知能は名前の最初の PaLM (または Pathways Language Model) よりも 5 倍訓練されることになります。CNBC。
5 倍訓練された AI
アメリカのメディアはGoogleの内部文書にアクセスでき、それによるとPaLM 2は3兆6000億トークンで訓練されていたはずだ。トークンは、言語モデルが一連のテキスト内に現れる次の単語を予測できるようにする単語の文字列です。
これは、2022 年にリリースされ、7,800 億トークンでトレーニングされた最初の PaLM モデルの約 5 倍です。実際には、これにより、特にコンピュータ プログラミング、数学、クリエイティブ ライティングなど、より高度な用途が提供されます。このモデルは医療用途にも使用できます、ただし、医師の代わりにはなりません（まだ）。
ただし、PaLM 2 は「小さい» 以前のバージョンよりも優れており、より複雑なタスクの実行にも成功しています。 PaLM 1 では 5,400 億のパラメーターでトレーニングされるのに対し、3,400 億のパラメーターでトレーニングされることになります。Google がこの LLM (大規模言語モデル、または大規模な言語モデル）は「推論の高速化、提供するパラメータの削減、提供コストの削減など、全体的なパフォーマンスの向上により効率が向上します。」と数字は示されていなかった。しかし、効率性だけでなく、何よりも AI 競争における戦争の要素の 1 つであるコンピューティング能力を向上させるにはまだ十分です。
PaLM 2 の設計について私たちがあまり知らない理由
確かに、Google は PaLM 2 の設計の詳細についてはケチです。CNBCこれを「」で説明します。競争力のある性質» この活動について、OpenAI には透明性が欠けている可能性があることを思い出します。GPT-4どちらでもない。
これは、これらの生成人工知能の機能をより分かりやすくするために戦っている多くの科学者によってもなされた発言です。CNBCGoogle Research の経験豊富な研究者である El Mahdi El Mhamdi 氏が昨年 2 月にその職を辞任したと明記しています。会社の透明性の欠如が原因です。»
AI プロジェクトの中には透明性を求めるものもありますが、これは主にいわゆるツールの場合に当てはまります。オープンソース、 としてドリーあるいはStableLM、両方とも最近リリースされました。
どれが最適な言語モデルであるかを客観的に判断することは困難です。しかし、比較のために、ゴールフレームは 1 兆 4,000 億のトークンでトレーニングされ、GPT-3 では 3,000 億のトークンでトレーニングされました。GPT-4 のこの数字はわかりません。 Google は単一の言語モデルを使用していません。同社は設計も行っていますラMDA、1.5兆トークンでトレーニングされたことになります。
私たちとしては、フランアンドロイド、Google Bard、ChatGPT、Bing Chat をテストしてパフォーマンスを比較しました。。にもかかわらず、演習で最も優れているのは Google のチャットボットであることを認識する必要があります。どちらもフランス語では利用できないという事実フランスからもアクセスできません。幸いなことに、次の方法がありますフランスでブロックされている場合でも、Google Bard を使用してください。
Chiyoye