Jev Local

# Jev Local

文章・JSON・画像に対する質問を、**Choice（選択肢）・Score（段階評価）・Noul（真偽）の確率**として返すローカルAPIです。同じ`/v1/systemone`を、LLMの先頭トークン判定とModernBERTの候補ペア採点で提供します。

| | LFM（既定） | Sarashina（追加） | ModernBERT |
|---|---|---|---|
| モデル | LFM2.5-1.2B Instruct / LFM2.5-VL-1.6B（Q8_0） | Sarashina2.2 Vision 3B（Q4_K_M / Q8_0） | ModernBERT-Ja 310Mをcross-encoderとしてfine-tune |
| 判定方式 | 回答先頭トークンのlogprob（zero-shot） | 同左（llama.cpp） | (質問＋State, 候補)ペアの採点（学習済み重みを配布） |
| 入力 | 文章・JSON・画像 | 文章・JSON。**画像は別ビルドの実験機能** | 文章・JSON |
| 強いところ | 知識・未知の分類体系・自由な指示文 | 今回の比較では常識QA・知識・ニュース分類がLFMより高い | 日本語の意図・関係判定と速度。候補順に依存しない |
| 追加依存 | なし（バイナリを自動取得） | 標準文章構成はなし。実験版は追加ビルド（画像はmmproj変換も必要） | torch＋transformers（別venv） |
| JGLUE test | JNLI 17% / JComQA 69% | Q4: JNLI 34% / JComQA 86% | JNLI 93% / JComQA 92%（trainで学習） |

クライアント・評価ツール・API仕様は共通です。まずLFMで動かしてから、[Sarashina比較バックエンド](docs/SARASHINA.md)や[ModernBERTバックエンド](docs/MODERNBERT.md)を追加できます。学習条件と量子化が異なるため、上表は同一APIでの実用比較であり、モデル能力の公平な順位付けではありません。

**Jev本体のモデル・学習・精度を再現するものではありません。** TypeSafeの`/v1/systemone`形式に合わせた非公式アダプターです。画像入力はローカル拡張で、公式SDKの画像互換を意味しません。[APIの互換範囲](docs/API.md)を参照してください。

## セットアップと起動（LFM）

Python **3.12以上**とBashが必要です。自動セットアップはLinux x86_64・arm64、macOS（Apple Silicon・Intel）に対応し、WindowsではWSL2を使用します。通常実行に追加Pythonパッケージやコンパイルは不要です。

```bash
git clone https://github.com/Argos1111/jev_local.git
cd jev_local
./setup.sh --model text
./run.sh --model text
```

画像も入力する場合は、次の構成を選びます。

```bash
./setup.sh --model vision
./run.sh --model vision
```

`text`は文章用モデルだけ、`vision`はVLモデルと画像エンコーダーを取得します。選択は保存され、以後の`./run.sh`はそのモデルを使います。両方を取得済みなら、`./run.sh --model text`／`--model vision`だけで切り替えられます。切り替える際は稼働中のサーバーをCtrl+Cで停止してから起動してください。未設定時の既定は`text`です。

`setup.sh`はGPUを検出してCUDA・ROCm・Metal版のllama.cppを選択し、選択したモデルを取得・SHA256検証します。VL構成は画像エンコーダー（mmproj F16）込みで約2.1 GBです。GPUを利用できない場合は理由を表示してCPU版に切り替え