GPT-4o miniと「ほぼ互角」の実力とは

　Phi-3.5-MoE-instructモデルのパフォーマンスは、AIコミュニティで高い注目を集めている。このモデルが多くのサードパーティベンチマークテストで、グーグルのGemini 1.5 Flash、メタのLlama 3.1、そしてOpenAIのGPT-4o miniを一部のケースで上回る結果を示しているためだ。

　具体的な数値を見てみよう。最も広く利用されるベンチマークの1つMMLU（5-shot）では78.9%のスコアを達成し、Mistral-Nemo-12B-instruct-2407の67.2%、Llama-3.1-8B-instructの68.1%を大きく上回った。さらに注目すべきは、GPT-4o mini（チャット版）の77.2%をも超える結果を出していることだ。

　推論能力を測るARC Challenge（10-shot）では91.0%を記録し、Mistral-Nemo-12B-instruct-2407の84.8%、Llama-3.1-8B-instructの83.1%を上回っている。GPT-4o miniの93.5%には及ばないものの、その差はわずかだ。

　数学分野のGSM8K（8-shot、CoT）では88.7%を達成し、Mistral-Nemo-12B-instruct-2407の84.2%、Llama-3.1-8B-instructの82.4%を上回った。ここでもGPT-4o miniの91.3%に迫る結果となっている。

　多言語能力においても、Phi-3.5-MoE-instructは強みを持つ。多言語MMULでは69.9%を達成し、Mistral-Nemo-12B-instruct-2407の58.9%、Llama-3.1-8B-instructの56.2%を大きく引き離している。ここでもGPT-4o miniの72.9%に迫る結果となった。

　これらの結果は、Phi-3.5-MoE-instructが66億の有効パラメータしか持たないにもかかわらず、はるかに大規模なモデルと同等以上の言語理解能力と数学能力を達成していることを示している。

　ただし、マイクロソフト自身も認めているように、モデルサイズによる制限も存在する。特に事実に関する知識の保存能力には限界があり、生成される回答には不正確な事実が含まれる可能性もあるという。しかし、マイクロソフトは、この弱点は検索エンジンとPhi-3.5を組み合わせることで解決できると考えている。

Ollama経由でどうDLする？

　オープンソースモデルの強みの1つは、モデルそのものをローカル環境にダウンロードし、プライベートに利用できることだ。

　ここからは、Ollamaプラットフォームを使い、Phi-3.5-mini-instructをパソコンにダウンロードして利用する方法を解説したい。ちなみに、ダウンロードした筆者のマシンはMac Mini M1である。

　まずOllamaとは、ローカル環境でオープンソースモデルを利用できる仕組みを提供するプラットフォームである。Hugging Faceでもオープンソースモデルをダウンロードして、ローカル環境で利用することができるが、ほとんどのモデルはFlash AttentionなどLinuxに最適化されたパッケージのインストールが必要となり、WindowsやMacでは利用できない場合が多い。一方、Ollamaは、Macユーザー向けに設計されたプラットフォームで、現在では、WindowsとLinuxでも利用できるようになっている。

　まず、必要なのは、Ollamaのダウンロードからだ。以下のリンクにアクセスし、「Download」ボタンをクリックする。


　ダウンロードが完了したら、下記のような画面が続くので、それぞれの手順に従いインストールを実行する。




　アプリのアイコンをクリックし、Ollamaマークが上部メニュー画面に表示されれば、Ollmaのインストールは完了となる。


　Ollmaのインストールと実行を確認したら、もう一度OllamaWebページを開き、上部メニューの「Models」をクリック。モデルページが表示されたら、「Phi3.5」と入力し、Phi3.5モデルを検索する。「Phi‐3.5」など、ハイフンを含めると検索結果が表示されないので、注意が必要だ。



　Phi3.5モデルが検索結果に表示されれば、それをクリックする。するとPhi3.5モデルのページが表示される。


　次に、左側のドロップダウンでダウンロードするPhi3.5モデルを選択する。

　ここでは、Phi3.5の中でも最も小さい「Phi3.5 mini」のさまざまなクオンタイズモデルを選択することが可能だ。クオンタイズとは、モデルのビット数を縮小し、モデルのサイズを小さくする手法のこと。「fp16」モデルが16ビットで最大となり、モデルサイズも7.7GBと最も大きくなる。最小は2ビットを表す「q2」モデルで、サイズは1.4GBに収まる。このほか、3ビットの「q3」、4ビットの「q4」など自身のパソコンのスペックやストレージサイズに応じて選択することができる。16ビットが最も高いパフォーマンスとなるが、スピードは遅くなってしまう。一方、2ビットではスピードは速くなるが、精度が落ちるというトレードオフがある点には留意が必要だ。


　ダウンロードしたいモデルを選択したら、右側のスクリプトをコピーする。スクリプトはモデルごとに変わるので、注意したい。



　次に、ターミナル（コマンドプロンプト）を開き、先ほどコピーしたスクリプトをペーストし、Enterを押す。するとモデルのダウンロードが開始され、完了すると「>>>」が表示される。「>>>」に続き、プロンプトを入力しエンターを押すと、返信が生成される。

　以下のスクリーンショットは「who are you?」という入力に対し、


という返信が返ってきた状況を示している。


　これで、ローカル環境で自由にPhi-3.5モデルを使うことが可能だ。

　モデルはデフォルトで以下のディレクトリに格納される。フォルダを変更したい場合は、Ollamaのドキュメントを参照してほしい。