6
会員になると、いいね!でマイページに保存できます。
共有する
GPT-4o miniと「ほぼ互角」の実力とは
Phi-3.5-MoE-instructモデルのパフォーマンスは、AIコミュニティで高い注目を集めている。このモデルが多くのサードパーティベンチマークテストで、グーグルのGemini 1.5 Flash、メタのLlama 3.1、そしてOpenAIのGPT-4o miniを一部のケースで上回る結果を示しているためだ。
具体的な
数値 を見てみよう。最も広く利用されるベンチマークの1つMMLU(5-shot)では78.9%のスコアを達成し、Mistral-Nemo-12B-instruct-2407の67.2%、Llama-3.1-8B-instructの68.1%を大きく上回った。さらに注目すべきは、GPT-4o mini(チャット版)の77.2%をも超える結果を出していることだ。
推論能力を測るARC Challenge(10-shot)では91.0%を記録し、Mistral-Nemo-12B-instruct-2407の84.8%、Llama-3.1-8B-instructの83.1%を上回っている。GPT-4o miniの93.5%には及ばないものの、その差はわずかだ。
数学分野のGSM8K(8-shot、CoT)では88.7%を達成し、Mistral-Nemo-12B-instruct-2407の84.2%、Llama-3.1-8B-instructの82.4%を上回った。ここでもGPT-4o miniの91.3%に迫る結果となっている。
多言語能力においても、Phi-3.5-MoE-instructは強みを持つ。多言語MMULでは69.9%を達成し、Mistral-Nemo-12B-instruct-2407の58.9%、Llama-3.1-8B-instructの56.2%を大きく引き離している。ここでもGPT-4o miniの72.9%に迫る結果となった。
これらの結果は、Phi-3.5-MoE-instructが66億の有効パラメータしか持たないにもかかわらず、はるかに大規模なモデルと同等以上の言語理解能力と数学能力を達成していることを示している。
ただし、マイクロソフト自身も認めているように、モデルサイズによる制限も存在する。特に事実に関する知識の保存能力には限界があり、生成される回答には不正確な事実が含まれる可能性もあるという。しかし、マイクロソフトは、この弱点は検索エンジンとPhi-3.5を組み合わせることで
解決 できると考えている。
Ollama経由でどうDLする?
オープンソースモデルの強みの1つは、モデルそのものをローカル環境にダウンロードし、プライベートに利用できることだ。
ここからは、Ollamaプラットフォームを使い、Phi-3.5-mini-instructをパソコンにダウンロードして利用する方法を解説したい。ちなみに、ダウンロードした筆者のマシンはMac Mini M1である。
まずOllamaとは、ローカル環境でオープンソースモデルを利用できる仕組みを提供するプラットフォームである。Hugging Faceでもオープンソースモデルをダウンロードして、ローカル環境で利用することができるが、ほとんどのモデルはFlash AttentionなどLinuxに最適化されたパッケージのインストールが必要となり、WindowsやMacでは利用できない場合が多い。一方、Ollamaは、Macユーザー向けに設計されたプラットフォームで、現在では、WindowsとLinuxでも利用できるようになっている。
まず、必要なのは、Ollamaのダウンロードからだ。以下のリンクにアクセスし、「Download」ボタンをクリックする。
ダウンロードが完了したら、下記のような画面が続くので、それぞれの手順に従いインストールを実行する。
アプリのアイコンをクリックし、Ollamaマークが上部メニュー画面に表示されれば、Ollmaのインストールは完了となる。
Ollmaのインストールと実行を確認したら、もう一度OllamaWebページを開き、上部メニューの「Models」をクリック。モデルページが表示されたら、「Phi3.5」と入力し、Phi3.5モデルを検索する。「Phi‐3.5」など、ハイフンを含めると検索結果が表示されないので、注意が必要だ。
Phi3.5モデルが検索結果に表示されれば、それをクリックする。するとPhi3.5モデルのページが表示される。
次に、左側のドロップダウンでダウンロードするPhi3.5モデルを選択する。
ここでは、Phi3.5の中でも最も小さい「Phi3.5 mini」のさまざまなクオンタイズモデルを選択することが可能だ。クオンタイズとは、モデルのビット数を縮小し、モデルのサイズを小さくする手法のこと。「fp16」モデルが16ビットで最大となり、モデルサイズも7.7GBと最も大きくなる。最小は2ビットを表す「q2」モデルで、サイズは1.4GBに収まる。このほか、3ビットの「q3」、4ビットの「q4」など自身のパソコンのスペックやストレージサイズに応じて選択することができる。16ビットが最も高いパフォーマンスとなるが、スピードは遅くなってしまう。一方、2ビットではスピードは速くなるが、精度が落ちるというトレードオフがある点には留意が必要だ。
ダウンロードしたいモデルを選択したら、右側のスクリプトをコピーする。スクリプトはモデルごとに変わるので、注意したい。
例:ollama run phi3.5:3.8b-mini-instruct-fp16
次に、ターミナル(コマンドプロンプト)を開き、先ほどコピーしたスクリプトをペーストし、Enterを押す。するとモデルのダウンロードが開始され、完了すると「>>>」が表示される。「>>>」に続き、プロンプトを入力しエンターを押すと、返信が生成される。
以下のスクリーンショットは「who are you?」という入力に対し、
I am Phi, created by Microsoft. I'm an AI digital assistant designed to
help answer questions and provide information on a wide range of topics
within my knowledge capabilities as of September 2021. How can I assist
you today?
という返信が返ってきた状況を示している。
これで、ローカル環境で自由にPhi-3.5モデルを使うことが可能だ。
モデルはデフォルトで以下のディレクトリに格納される。フォルダを変更したい場合は、Ollamaの
ドキュメント を参照してほしい。
macOS: ~/.ollama/models
Linux: /usr/share/ollama/.ollama/models
Windows: C:\Users\%username%\.ollama\models
評価する
いいね!でぜひ著者を応援してください
会員になると、いいね!でマイページに保存できます。
関連タグ