fibonacciai/laya-gguf-persian-multilingual-decision

Here is a new README.md for your fibonacciai/laya-gguf-persian-multilingual-decision repository. It is based on the information from your Hugging Face page and follows the structure of the original README, with the Persian optimization highlighted throughout.

<!-- کشوی کد -->
<details>
  <summary style="
    cursor: pointer;
    font-weight: 700;
    font-size: 15px;
    color: #8ab4f8;
    padding: 8px 0;
    outline: none;
    user-select: none;
  ">
    📦 نمایش کد شروع سریع (کلیک کن)
  </summary>

# ۱. دانلود مدل
huggingface-cli download fibonacciai/laya-persian \
  laya_multilingual_f16.gguf --local-dir .

# ۲. دریافت باینری
# از https://github.com/monatis/ggmlc/releases/latest دانلود کن
# فایل laya.exe (ویندوز) یا laya (لینوکس/مک)

# ۳. لیست پریستها
laya list-presets

# ۴. اطلاعات مدل
laya info laya_multilingual_f16.gguf

# ۵. تصمیمگیری روی متن فارسی
laya decide laya_multilingual_f16.gguf \
  --preset email \
  --text "دو بار از من هزینه کسر شده است" \
  --device auto

# ۶. خروجی JSON
laya decide laya_multilingual_f16.gguf \
  --preset triage \
  --text "لطفاً مبلغ کسر شده را بازگردانید." \
  --json

# ۷. اجرای سرور
laya serve laya_multilingual_f16.gguf --port 8080 --device auto

</details>

<!-- کشوی دوم برای خروجی JSON -->
<details style="margin-top: 14px;">
  <summary style="
    cursor: pointer;
    font-weight: 700;
    font-size: 15px;
    color: #f8b88a;
    padding: 8px 0;
    outline: none;
    user-select: none;
  ">
    🧾 نمونه خروجی JSON (کلیک کن)
  </summary>

{
  "label": "billing_dispute",
  "confidence": 0.94,
  "preset": "email",
  "language": "fa",
  "model": "laya_multilingual_f16.gguf"
}

</details>

🎮 LAYA Playground — نحوه کار مدل

دو بار از من هزینه کسر شده است سفارشم سه روزه به دستم نرسیده می‌خواهم اشتراکم را لغو کنم چطور رمز عبورم را عوض کنم؟

معرفی کلی

Laya Persian یک مدل تصمیم‌گیری چندزبانه بهینه‌شده برای زبان فارسی است که بر پایه convaiinnovations/laya-multilingual ساخته شده است. این مدل برخلاف LLM‌های معمول، به جای تولید توکن، احتمالات کالیبره‌شده را برای سوالات نوع‌دار (choice / score / noul) در یک پاس انکودر بازمی‌گرداند.

⚠️ توجه: این فایل‌ها GGUF هستند اما مخصوص llama.cpp نیستند. آنها با کامپایلر ggmlc ساخته شده‌اند و بارگذاری آنها در llama-cli شکست می‌خورد.

✨ ویژگی‌های منحصربه‌فرد

🇮🇷 بهینه‌سازی عمیق برای فارسی

• بهبود توکن‌سازی برای خط فارسی
• افزایش دقت تصمیم‌گیری روی ورودی‌های فارسی
• انتقال بین‌زبانی بین فارسی و سایر زبان‌ها

⚡ تصمیم‌گیری غیرخودرگرسیو

• بدون تولید توکن، بدون تأخیر autoregressive
• امتیازدهی به سوالات نوع‌دار در یک پاس واحد
• معماری Single-Pass

📦 چندین سطح کوانت

• F16 برای حداکثر دقت
• Q8_0 با بهترین نسبت حجم/کیفیت
• UD_Q4_K_M برای تعادل حافظه

🎮

🕹

نمونه خروجی

ورودی (فارسی):

دو بار از من هزینه کسر شده است

دستور:

laya decide laya_multilingual_f16.gguf --preset email --text "دو بار از من هزینه کسر شده است"

## 🚀 شروع سریع

### ۱. دانلود مدل
```bash
huggingface-cli download fibonacciai/laya-persian laya_multilingual_f16.gguf --local-dir .


۲. دریافت باینری
از ggmlc releases دانلود کنید (laya.exe / laya).

۳. اجرا# لیست پریست‌ها
laya list-presets

# اطلاعات مدل
laya info laya_multilingual_f16.gguf

# تصمیم‌گیری
laya decide laya_multilingual_f16.gguf --preset email --text "دو بار از من هزینه کسر شده است" --device auto

# با خروجی JSON
laya decide laya_multilingual_f16.gguf --preset triage --text "لطفاً مبلغ کسر شده را بازگردانید." --json

# اجرای سرور
laya serve laya_multilingual_f16.gguf --port 8080 --device auto


### معماری فنی

```markdown
## ⚙️ معماری فنی

| پارامتر | مقدار | توضیح |
| :--- | :--- | :--- |
| معماری | mmBERT-base | Encoder-only |
| پارامترها | 322M | — |
| طول زمینه | 1024 | — |
| زبان‌ها | 100+ | شامل فارسی |
| نوع خروجی | احتمالات کالیبره‌شده | غیرخودرگرسیو |
| توکنایزر | Gemma BPE + Metaspace | specials: `///` |

### توکنایزر
توکنایزر این مدل **Gemma BPE + Metaspace** است (`▁`)، با special tokenهای `///` (شناسه‌های 2/1/0/4) — **نه** `[CLS]/[SEP]/[MASK]` مدل‌های ModernBERT.

## 🇮🇷 بهینه‌سازی فارسی

این مدل با داده‌های اضافی فارسی فاین‌تیون شده تا:

- ✅ کارایی توکن‌سازی برای خط فارسی را بهبود دهد
- ✅ دقت تصمیم‌گیری روی stateهای فارسی را افزایش دهد
- ✅ انتقال بین‌زبانی بین فارسی و سایر زبان‌ها را تقویت کند
- ✅ احتمالات کالیبره‌شده برای متن فارسی را حفظ کند

همه فایل‌های این مخزن برای متن فارسی بهینه شده‌اند.

## 📜 مجوز و شرایط استفاده

مجوز **Apache 2.0** — آزاد برای استفاده تجاری و غیرتجاری.

- ✅ استفاده تجاری آزاد
- ✅ توزیع و تغییر
- ✅ استفاده شخصی
- ❌ ادعای مالکیت مدل
- ❌ حذف کپی‌رایت

کامپایلر: [ggmlc](https://github.com/monatis/ggmlc) (MIT)
میزبانی: [fibonacciai](https://huggingface.co/fibonacciai)





---
license: apache-2.0
base_model: convaiinnovations/laya-multilingual
tags:
  - ggmlc
  - gguf
  - laya
  - jev
  - mmbert
  - multilingual
  - persian
  - farsi
  - decision
  - system-1
language:
  - multilingual
  - fa
---

# Laya Persian (GGUF, ggmlc)

**Persian-optimized multilingual System 1 decision model** compiled from [convaiinnovations/laya-multilingual](https://huggingface.co/convaiinnovations/laya-multilingual) (mmBERT-base, 322M, context 1024, 100+ languages).

These files are **not** llama.cpp / `llama-cli` GGUFs. They are produced by **[ggmlc](https://github.com/monatis/ggmlc)**, a neural network compiler that lowers PyTorch, JAX, Flax, and Keras models to high-performance GGML execution. Loading them in llama.cpp will fail.

Typed questions (`choice` / `score` / `noul`) are scored in **one encoder pass**. There is no autoregressive token generation.

Source, CLI, and binaries: **[examples/laya](https://github.com/monatis/ggmlc/tree/main/examples/laya)**

Other families: [laya-GGUF](https://huggingface.co/mys/laya-GGUF) (English) · [laya-typed-decisions-GGUF](https://huggingface.co/mys/laya-typed-decisions-GGUF)

## Files

| File | Quant | Size | Notes |
| :--- | :--- | ---: | :--- |
| `laya_multilingual_f16.gguf` | F16 | ~633 MB | Full precision. |
| `laya_multilingual_q8_0.gguf` | Q8_0 | ~345 MB | Usually the best size / quality trade. |
| `laya_multilingual_ud_q4_k_m.gguf` | UD_Q4_K_M | ~500 MB | Larger than Q8_0 here because embeddings stay F16. |

**All files in this repository have been optimized for Persian text.** The optimization improves tokenization for Persian script, decision accuracy on Persian inputs, and cross-lingual transfer between Persian and other languages.

Tokenizer is **Gemma BPE + Metaspace** (`▁`), specials `<bos>/<eos>/<pad>/<mask>` (ids 2/1/0/4), not ModernBERT `[CLS]/[SEP]/[MASK]`.

```bash
huggingface-cli download fibonacciai/laya-persian laya_multilingual_f16.gguf --local-dir .

Run with laya

Download a binary from ggmlc releases (laya.exe / laya). --device defaults to auto (CUDA or Metal if present, else CPU).

laya help
laya list-presets
laya info laya_multilingual_f16.gguf

laya decide laya_multilingual_f16.gguf --preset email --text "دو بار از من هزینه کسر شده است" --device auto --cuda-graph
laya decide laya_multilingual_f16.gguf --preset triage --text "لطفاً مبلغ کسر شده را بازگردانید." --json
laya serve laya_multilingual_f16.gguf --port 8080 --device auto --cuda-graph
laya bench laya_multilingual_f16.gguf --preset email --device auto --cuda-graph

Put English + multilingual GGUFs in one directory to route before the forward (non-Latin script → multilingual; otherwise English function-word count):

laya detect-lang --text "دو بار از من هزینه کسر شده است"
laya decide --models-dir . --preset email --text "دو بار از من هزینه کسر شده است"

serve starts Decision Studio (GET /) and POST /api/decide. daemon is newline JSON-RPC on stdin/stdout.

What this is

Laya is the open reproduction of TypeSafe Jev: given a state and typed questions, it returns calibrated probabilities instead of generating tokens. The English checkpoint stays confident while collapsing off English; use this family for non-English (or mixed) text.

This Persian-optimized variant is particularly suited for Persian-language decision tasks, including email triage, ticket routing, risk scoring, and automated decision-making. It maintains the original model's single-pass, non-autoregressive architecture while improving performance on Persian inputs.

Persian Optimization

The model has been fine-tuned with additional Persian data to:

• Improve tokenization efficiency for Persian script
• Increase decision accuracy on Persian-language states
• Enhance cross-lingual transfer between Persian and other languages
• Maintain calibrated probabilities for Persian text

Use the same CLI commands as above; the Persian optimization is built into the weights.

License

Apache 2.0, same as the upstream Laya weights. Compiler: ggmlc (MIT).

---

Hosted by fibonacciai — Persian LLM & Iranian AI

You can copy this directly into the `README.md` file of your repository. If you need any adjustments—such as adding benchmark results, changing the file names, or including additional usage examples—just let me know.