اتصال LlamaIndex به پیکو هوش

LlamaIndex بر اتصال داده‌های شما به مدل‌های زبانی (ایندکس، بازیابی، query engine) تمرکز دارد. برای مدل‌های سازگار با OpenAI که نام‌شان در فهرست مدل‌های داخلی نیست، کلاس OpenAILike طراحی شده است و پارامترهای api_base و api_key را می‌پذیرد.

توصیه می‌کنیم به‌جای کلاس OpenAI معمولی از OpenAILike استفاده کنید؛ چون کلاس معمولی نام مدل را اعتبارسنجی می‌کند و برای نام‌هایی مثل gpt-6-sol خطا می‌دهد.

پیش‌نیازها

• یک حساب پیکو هوش و یک کلید API از داشبورد (کلید فقط یک‌بار کامل نمایش داده می‌شود).
• شناسه‌ی دقیق مدل از کاتالوگ؛ در مثال‌ها از gpt-6-sol و claude-sonnet-5-5 استفاده شده است.
• کمی موجودی در کیف پول تومانی یا اعتبار؛ تعرفه را در صفحه‌ی قیمت‌ها ببینید.

راه‌اندازی گام‌به‌گام

1. ۱نصب

   بسته‌ی OpenAILike را جداگانه نصب کنید.

   کپی

   pip install llama-index llama-index-llms-openai-like

2. ۲تعریف مدل

   is_chat_model=True یعنی از /chat/completions استفاده شود.

   کپی

   import os
   from llama_index.llms.openai_like import OpenAILike
   from llama_index.core import Settings
   
   llm = OpenAILike(
       model="gpt-6-sol",
       api_base="https://api.picoai.ir/v1",
       api_key=os.environ["PICOAI_API_KEY"],
       is_chat_model=True,
       context_window=128000,
   )
   Settings.llm = llm
   print(llm.complete("سلام!"))

3. ۳پرسش از اسناد محلی

   ایندکس را بسازید و query engine بگیرید. برای امبدینگ از یک مدل محلی استفاده کنید چون امبدینگ در پیکو هوش هنوز موجود نیست.

   کپی

   from llama_index.core import VectorStoreIndex, SimpleDirectoryReader
   from llama_index.embeddings.huggingface import HuggingFaceEmbedding
   
   Settings.embed_model = HuggingFaceEmbedding(model_name="BAAI/bge-m3")
   docs = SimpleDirectoryReader("./docs").load_data()
   index = VectorStoreIndex.from_documents(docs)
   print(index.as_query_engine().query("خلاصه‌ی اسناد چیست؟"))

تست سریع اتصال

پیش از نوشتن منطق برنامه، یک بار فهرست مدل‌ها را بگیرید. اگر پاسخ ۲۰۰ و فهرستی از شناسه‌ها برگشت، کلید، شبکه و آدرس درست است و هر مشکل بعدی مربوط به تنظیمات LlamaIndex خواهد بود.

curl https://api.picoai.ir/v1/models \
  -H "Authorization: Bearer YOUR_API_KEY"

نکته‌های کاربردی برای LlamaIndex

• context_window را مطابق مدل انتخابی تنظیم کنید؛ مقدار هر مدل در کاتالوگ آمده است.
• برای متن فارسی از مدل امبدینگ چندزبانه استفاده کنید تا بازیابی دقیق‌تر شود.
• اندازه‌ی chunk را با آزمون و خطا تنظیم کنید؛ تکه‌های خیلی بزرگ هزینه‌ی توکن را بالا می‌برند.

عیب‌یابی

هزینه و صورتحساب

هر درخواست قبل از اجرا مقداری از موجودی را رزرو می‌کند و پس از پاسخ موفق بر پایه‌ی توکن‌های واقعی تسویه می‌شود؛ مابه‌التفاوت برمی‌گردد و درخواست ناموفق چیزی کم نمی‌کند. جدول قیمت هر مدل در صفحه‌ی قیمت‌ها منتشر شده و مصرف هر درخواست در داشبورد قابل مشاهده است. اگر قبلاً از سرویس دیگری استفاده می‌کردید، راهنمای مهاجرت و صفحه‌ی مقایسه را ببینید.