M365Con 2027 – 無料オンラインカンファレンス · 11–22 Jan 2027 · 120 sessions m365con.net

Small language model (SLM)

Concept

小規模言語モデルとは、大規模言語モデルよりはるかに少ないパラメータを持つコンパクトなAI言語モデルで、必要な計算資源が少なく、特定の分野に絞り込んだり、ローカルデバイス上で動かしたりできます。

✦ CONCEPTSmall language model(SLM)M365.FM
Title graphic: Small language model (SLM) (Concept)

よく一緒に取り上げられるテーマ

Small language model (SLM)に関するエピソードでは、Multi-agent system、Large language model (LLM)、Microsoft Foundryもよく取り上げられます。

Description

小規模言語モデル(SLM)は、大規模言語モデル(LLM)よりはるかに少ないパラメータを持つコンパクトなAI言語モデルです。サイズが小さいため、必要な計算資源が少なく、特定の分野に絞り込んだり、ローカルデバイス上で動かしたりできます。SLMはコンパクト言語モデルとも呼ばれます。テキスト生成などの自然言語タスク向けに作られていますが、個人用コンピューター、ノートパソコン、スマートデバイスなどの一般的なハードウェアでも学習や実行ができるほど小型です。

重要な違いはサイズにあります。ある概要では、SLMは一般に約400億パラメータ未満とされ、多くのモデルファミリーは100億パラメータ未満です。一方、大規模言語モデルは数千億パラメータ、場合によっては1兆パラメータを超えることもあります。ほとんどのSLMはLLMと同じアーキテクチャを使用していますが、パラメータ数が少なく、数値精度を下げている場合もあります。知識蒸留、枝刈り、量子化などの手法を使って作られたり、小型化されたりすることが一般的です。事前学習も非常に小さなモデルの助けになり、事前学習データが多いほど結果が良くなる傾向があります。

SLMと呼ばれるモデルファミリーはいくつかあります。出典資料に挙げられている例には、Gemma、Granite、Ministral、Phi、Qwen、SmolLM(135M、360M、1.7Bの各バリアント)、Appleのオンデバイス基盤モデルなどがあります。Microsoftのphiファミリーは、Microsoftエコシステムに最も関連が深く、このテーマを扱うM365.FMのエピソードでも取り上げられています。

主な利点は、計算要件が低いことと、クラウドにアクセスせずにローカルで実行できることです。モデルをローカルで実行すると、データの扱いに直接的な影響があります。M365.FMのエピソード「Small Language Models for Faster, Cheaper Enterprise AI」では、Phiモデルをローカルに展開すると、データが組織内にとどまり、組織がアクセスを管理して、コンプライアンス要件を満たせると述べています。このエピソードでは、SLMが特定のタスクに対して高速で正確な結果を出し、例えばメールの要約、チケットや文書の分類、規制文書の効率的な処理などを行えると説明しています。

トレードオフは能力にあります。パラメータが少ないと、モデルが符号化できる情報量が限られ、大規模モデルと比べて汎化性能や精度が下がる可能性があります。そのため、SLMの品質は、学習データが与えられたタスクにどれだけ合っているかに大きく左右されます。このため、SLMは一般に、広範で制約のない作業ではなく、限定的で明確に定義されたユースケースを前提に位置づけられます。組織にとっての典型的な判断は、タスクが小型モデルに適するほど具体的で反復可能かどうか、あるいは大規模モデルの幅広い能力が必要かどうかです。

エピソード「Small Language Models for Faster, Cheaper Enterprise AI」は、企業がSLMを検討し、AIイノベーションの次の波に備えることを推奨しており、専門家はAIがまもなく労働力に加わり、産業を変革すると予測していることにも触れています。FAQ形式のこのエピソードでは、SLMを、大規模モデルよりパラメータが少なく、ローカルデバイスで動作し、特定のタスクに対して高速で正確な結果を出せるモデルとして定義しています。

Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.

TypeConcept
WikipediaSmall language model (SLM) – Wikipedia en.wikipedia.org

Articles about Small language model (SLM) (4)

Small language model (SLM)を扱った記事:

  • なぜCopilotは失敗するのか:ハルシネーションと企業向けプライバシーの欠陥を読み解く
    · Mirko Peters
    ワークステーションに向かってMicrosoft Copilotのような AI アシスタントを開くとき、あなたには明確な期待があるはずです。作業の流れを加速させ、面倒な作業を自動化し、より clean で速いコードを書きたいのです。日常的な多くの作業では、大規模言語モデル(LLM)がその期待に応えてくれます。しかし、企業向けソフトウェア開発や機密性の高いデータ
  • SLMで解決するCopilotの弱点
    · Mirko Peters
    ポッドキャスト関連ブログへようこそ。今回の投稿では、企業組織の人工知能への取り組み方を変えつつある技術的な転換について詳しく見ていきます。AIコーディングアシスタントや、Microsoft Copilotのような生産性ツールを使ったことがあるなら、そのミスに遭遇したことがあるでしょう。存在しないパッケージ名の提示、予期しないデータの露出、作業を止めてしまうほ
  • Why Copilot Fails: Unpacking Hallucinations and Enterprise Privacy Flaws
    · Mirko Peters
    When you sit down at your workstation and open up an AI assistant like Microsoft Copilot, you do so with a clear expectation: you want to accelerate your workflow, …
  • Fixing Copilot's Flaws with Small Language Models
    · Mirko Peters
    Welcome back to the podcast companion blog! In this post, we are diving deep into the technical shift transforming how enterprise organizations approach artificial …

Frequently asked questions

Questions marked with AI were written with AI from the facts on this page.

小規模言語モデル(SLM)とは何ですか? (AI)

小規模言語モデルは、大規模言語モデルよりはるかに少ないパラメータを持つコンパクトなAI言語モデルです。必要な計算資源が少なく、特定の分野に絞り込んだり、ローカルデバイス上で動かしたりできます。

SLMは大規模言語モデルとどう違いますか? (AI)

SLMは一般に約400億パラメータ未満で、多くは100億パラメータ未満ですが、LLMは数千億パラメータ以上であることが多いです。通常は同じアーキテクチャを使用していますが、サイズが小さいため計算要件は下がり、精度や汎化性能は低下する可能性があります。

SLMはなぜプライバシーの観点で重要なのですか? (AI)

M365.FMのSLMに関するエピソードでは、Phiモデルをローカルに展開できるため、データが組織内にとどまると述べています。これにより組織はアクセスを管理し、コンプライアンス要件を満たすことができます。

Glossary

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Experts and companies for this topic

Nobody has listed this topic yet. Add it to your profile.

Sources

Maintained by Mirko Peters (Microsoft MVP) · Last updated: