توکن چیست؟

مدل‌های زبانی متن را مستقیم نمی‌خوانند. ابتدا یک توکنایزر متن را به تکه‌هایی به نام توکن می‌شکند و هر تکه به عددی نگاشته می‌شود. در زبان انگلیسی یک توکن تقریباً چهار نویسه یا سه‌چهارم یک کلمه است؛ در فارسی معمولاً برای همان مقدار معنا، توکن بیشتری مصرف می‌شود چون بسیاری از کلمات فارسی به چند تکه شکسته می‌شوند.

توکن‌ها دو جا اهمیت دارند: اول در محدودیت طول (پنجره‌ی زمینه و حداکثر خروجی) و دوم در هزینه. بیشتر سرویس‌ها جداگانه توکن‌های ورودی (پرامپت) و خروجی (پاسخ) را قیمت‌گذاری می‌کنند و معمولاً توکن خروجی گران‌تر است.

برای تخمین مصرف، تعداد توکن‌های ورودی و خروجی هر درخواست را در پاسخ API (فیلد usage) ببینید. تنها راه دقیق همین است، چون هر مدل توکنایزر خودش را دارد و عددها بین مدل‌ها متفاوت است.

{
  "usage": {
    "prompt_tokens": 42,
    "completion_tokens": 180,
    "total_tokens": 222
  }
}

مثال کاربردی

فرض کنید یک چت‌بات پشتیبانی دارید که در هر گفتگو ۲۰ پیام رد و بدل می‌کند. اگر تاریخچه‌ی کامل را در هر درخواست بفرستید، پیام بیستم حاوی توکن نوزده پیام قبلی هم هست. با شمردن usage در چند گفتگوی واقعی می‌فهمید هزینه‌ی هر گفتگو چقدر است و آیا خلاصه‌سازی تاریخچه ارزش دارد یا نه.

چطور در عمل بررسی کنیم؟

بهترین راه یادگرفتن این مفهوم، دیدن آن در یک درخواست واقعی است. یک کلید بسازید، فهرست مدل‌ها را با /v1/models بگیرید، یک درخواست کوچک بفرستید و فیلدهای پاسخ (از جمله usage و finish_reason) را بخوانید. سپس همان درخواست را با پارامتر یا مدل دیگر تکرار و در داشبورد مصرف و هزینه را مقایسه کنید. نمونه‌های آماده در راهنمای cURL و راهنمای پایتون هست.

اصطلاحات نزدیک

• پنجره‌ی زمینه: پنجره‌ی زمینه حداکثر تعداد توکنی است که مدل در یک درخواست می‌تواند هم‌زمان ببیند؛ شامل پرامپت، تاریخچه و پاسخ.
• حداکثر توکن خروجی: Max tokens سقف تعداد توکنی است که مدل مجاز است در پاسخ تولید کند؛ با رسیدن به آن، پاسخ قطع می‌شود.
• پرامپت کش: پرامپت کش یعنی بخش تکراری ابتدای پرامپت (مثل دستورالعمل ثابت یا سند بلند) در سمت ارائه‌دهنده نگه داشته شود تا در درخواست‌های بعدی ارزان‌تر و سریع‌تر پردازش شود.
• تأخیر: Latency زمان بین ارسال درخواست و دریافت پاسخ است؛ در مدل‌های زبانی معمولاً با «زمان تا اولین توکن» و «سرعت تولید» سنجیده می‌شود.

در پیکو هوش

در پیکو هوش مصرف توکن هر درخواست در پاسخ API و در داشبورد ثبت می‌شود و هزینه بر پایه‌ی جدول قیمت هر مدل (به تومان) محاسبه می‌شود.

اشتباهات رایج

• تصور اینکه توکن همان کلمه است؛ نیست.
• فراموش کردن اینکه تاریخچه‌ی گفتگو در هر درخواست دوباره به‌عنوان توکن ورودی شمرده می‌شود.