چندوجهی چیست؟

مدل‌های اولیه فقط متن می‌گرفتند و متن می‌دادند. مدل‌های چندوجهی ورودی‌هایی مثل تصویر را هم می‌پذیرند: می‌توانید عکس یک نمودار را بدهید و توضیحش را بخواهید. بعضی مدل‌ها خروجی غیر متنی هم دارند، مثل تولید تصویر یا صدا.

چندوجهی بودن یک ویژگی هر مدل است و باید جداگانه بررسی شود: یک مدل ممکن است تصویر را بفهمد اما تصویر تولید نکند، یا برعکس. در فهرست مدل‌ها ویژگی‌هایی مثل «پشتیبانی از تصویر» مشخص شده است.

نکته‌ی هزینه: تصویر ورودی هم به توکن تبدیل می‌شود و بسته به اندازه می‌تواند هزینه‌ی قابل‌توجهی داشته باشد.

مثال کاربردی

کاربر عکس یک فاکتور را می‌فرستد و می‌خواهد مبلغ کل را بداند. این کار به مدلی نیاز دارد که ورودی تصویر را پشتیبانی کند. پیش از ساختن محصول، با چند عکس واقعی (کج، کم‌نور) دقت را بسنجید.

چطور در عمل بررسی کنیم؟

بهترین راه یادگرفتن این مفهوم، دیدن آن در یک درخواست واقعی است. یک کلید بسازید، فهرست مدل‌ها را با /v1/models بگیرید، یک درخواست کوچک بفرستید و فیلدهای پاسخ (از جمله usage و finish_reason) را بخوانید. سپس همان درخواست را با پارامتر یا مدل دیگر تکرار و در داشبورد مصرف و هزینه را مقایسه کنید. نمونه‌های آماده در راهنمای cURL و راهنمای پایتون هست.

اصطلاحات نزدیک

• مدل زبانی بزرگ: مدل زبانی بزرگ مدلی یادگیری عمیق است که روی حجم عظیمی از متن آموزش دیده و می‌تواند متن بفهمد و تولید کند.
• توکن: توکن کوچک‌ترین واحد متنی است که مدل زبانی پردازش می‌کند؛ می‌تواند یک کلمه، بخشی از کلمه یا یک نویسه باشد و هزینه و محدودیت‌ها بر پایه‌ی آن سنجیده می‌شود.
• پنجره‌ی زمینه: پنجره‌ی زمینه حداکثر تعداد توکنی است که مدل در یک درخواست می‌تواند هم‌زمان ببیند؛ شامل پرامپت، تاریخچه و پاسخ.
• امبدینگ: امبدینگ نمایش عددی (بردار) یک متن است که شباهت معنایی متن‌ها را قابل اندازه‌گیری می‌کند و پایه‌ی جستجوی معنایی و RAG است.

در پیکو هوش

در کاتالوگ برای هر مدل مشخص است که ورودی تصویر را پشتیبانی می‌کند یا نه. تولید تصویر و تبدیل متن به گفتار هم در دسترس است؛ ویدیو و موسیقی هنوز نه.

اشتباهات رایج

• فرض اینکه همه‌ی مدل‌های چت تصویر می‌فهمند.
• ارسال تصویر بسیار بزرگ و پرداخت هزینه‌ی اضافه.