高性能オープンモデルLLMを爆速で利用できるAPI

　メタがリリースしたLlama 3.1 405B（4050億パラメータ）は、オープンソースでありながらGPT-4などに並ぶ高い精度を有するモデルで、AIコミュニティでは注目の的となっている。

　しかし、実際に運用するには高スペックなハードウェア（GPUなど）が必須となるため、アプリケーションへの応用には高いハードルが待ち受ける。

　こうした中、AI企業SambaNovaが2024年9月に発表した「SambaNova Cloud」は、Llama 3.1 405Bを最速で利用できるプラットフォームとして大きな注目を集めている。

　このサービスは、同社独自のAIチップ「SN40L」を活用しており、Llama 3.1 405Bを、秒間最大132トークンという驚異的な速度で利用できるという。

　この速度は、OpenAI、アンソロピック、グーグルなどが提供するフラッグシップモデルのアウトプットスピードを上回る記録となる。また、他のクラウドサービスにおけるLlama 3.1 405Bのアウトプットスピードも大きく上回る。たとえば、Artificial Analysisの分析によると、マイクロソフトAzureでは秒間15トークン、AWSでは13トークンにとどまる。

　特筆すべきは、SambaNovaが405Bモデルをフル精度（16ビット）で実行できる点だろう。これにより、高い精度と速度を両立したAIアプリケーションの開発が可能になると期待されている。

　SambaNova Cloudは、無料のAPIアクセスを提供するフリーティア、開発者向けの高レート制限を備えたデベロッパーティア、そして本番ワークロードに対応するエンタープライズティアの3段構成で提供される。

　以下では、このSambaNova CloudのAPIを活用する方法をステップバイステップで解説していきたい。

　準備するのは、「Python3」、統合開発環境「VS Code」、そしてSambaNova CloudのAPIキーの3つ。

　以下の5ステップにより、SambaNova Cloud API利用を実行する。

ステップ1：Python3とVS Codeのインストール

　まずはPythonのインストールだ。ただし、ここは以前も本連載で触れたほか、ネット上に多様なドキュメントがそろっているので割愛する。

ステップ2：VS Codeのインストールと仮想環境構築

　Pythonをインストールした後、VS CodeのサイトからVS Codeをダウンロードする。

※こちらもVS Codeをすでにインストール済みの場合はスキップしてほしい。


　VSCodeファイルがダウンロードできたら、パソコンにインストールする。

　インストール後、まずVSCodeアプリを立ち上げ、以下の画面を表示する。


　VS CodeのメニューにあるViewをクリックし、Command Paletteを選択。


　すると、VS Codeの検索窓に、「＞」マークが表示されるので、そこで「Shell Command: Install 'code' command in PATH」を検索して実行する。


　このステップを踏むことで、ターミナルコマンドから、VS Codeを開くことが可能になる。

　次は、AIモデルをインストールするための「仮想環境」を構築する。

　仮想環境とは、Pythonプロジェクトごとに独立したPythonの実行環境を作るための仕組み。これにより、プロジェクトごとに異なるパッケージやライブラリのバージョンを使い分けることができ、システム全体のPython環境に影響を与えずに開発を進めることが可能となる。

【次ページ】ステップ3：必須ライブラリのインストール