LiteLLM Proxy با پیکو هوش؛ درگاه واحد برای مدل‌ها
LiteLLM را به‌عنوان SDK یا پروکسی (Gateway) با api_base پیکو هوش تنظیم کنید؛ config.yaml، مدل‌های همنام، کلید مجازی، fallback و بودجه‌بندی داخلی.
پیکو هوشانتشار: به‌روزرسانی: ۵ دقیقه مطالعه
خلاصه: LiteLLM لایه‌ی یکپارچه روی ده‌ها ارائه‌دهنده است و می‌تواند به‌صورت کتابخانه‌ی پایتون یا پروکسی (سرور سازگار با OpenAI) اجرا شود. برای پیکو هوش، پیشوند openai/ را به نام مدل می‌دهید و api_base را روی https://api.picoai.ir/v1 می‌گذارید. پروکسی برای تیم‌هایی مناسب است که می‌خواهند کلیدهای مجازی، بودجه و fallback داشته باشند.
استفاده به‌عنوان SDK
pip install -U litellm
export PICO_API_KEY="YOUR_API_KEY"import os
from litellm import completion
resp = completion(
model="openai/gpt-6-sol",
api_base="https://api.picoai.ir/v1",
api_key=os.environ["PICO_API_KEY"],
messages=[{"role": "user", "content": "سلام! خودت را در یک جمله معرفی کن."}],
)
print(resp.choices[0].message.content)
print(resp.usage)استریم:
for chunk in completion(model="openai/claude-haiku-5-5",
api_base="https://api.picoai.ir/v1",
api_key=os.environ["PICO_API_KEY"],
messages=[{"role": "user", "content": "یک جوک فنی بگو"}],
stream=True):
print(chunk.choices[0].delta.content or "", end="")راه‌اندازی LiteLLM Proxy
pip install -U "litellm[proxy]"فایل config.yaml (طبق مستندات، fallbacks را هم میتوان زیر router_settings و هم زیر litellm_settings نوشت؛ در litellm_settings نام زمان‌سنج request_timeout است):
- LiteLLM
- proxy
- gateway
- config.yaml
- fallback