دمای نمونه‌برداری چیست؟

مدل در هر گام برای توکن بعدی یک توزیع احتمال می‌سازد. با temperature نزدیک به صفر، تقریباً همیشه محتمل‌ترین توکن انتخاب می‌شود و خروجی تکرارپذیرتر است. با مقدار بالاتر، توکن‌های کم‌احتمال‌تر هم شانس انتخاب می‌یابند و پاسخ متنوع‌تر می‌شود.

برای استخراج اطلاعات، دسته‌بندی و کدنویسی مقدار کم (۰ تا ۰٫۳) مناسب است. برای ایده‌پردازی، شعر و تولید نام، مقدار بیشتر (۰٫۷ تا ۱) معمول است. دامنه‌ی مجاز و رفتار دقیق به مدل بستگی دارد و بعضی مدل‌های استدلالی این پارامتر را نادیده می‌گیرند یا محدود می‌کنند.

معمولاً بهتر است همزمان temperature و top_p را تغییر ندهید و فقط یکی را تنظیم کنید.

client.chat.completions.create(
    model="gpt-6-sol",
    temperature=0.2,
    messages=[{"role": "user", "content": "این متن را دسته‌بندی کن"}],
)

مثال کاربردی

برای دسته‌بندی تیکت‌ها temperature را ۰ یا نزدیک به آن می‌گذارید تا نتیجه یکنواخت باشد. برای پیشنهاد ۱۰ نام برای محصول، آن را به ۰٫۹ می‌رسانید تا گزینه‌ها متنوع‌تر شوند.

چطور در عمل بررسی کنیم؟

بهترین راه یادگرفتن این مفهوم، دیدن آن در یک درخواست واقعی است. یک کلید بسازید، فهرست مدل‌ها را با /v1/models بگیرید، یک درخواست کوچک بفرستید و فیلدهای پاسخ (از جمله usage و finish_reason) را بخوانید. سپس همان درخواست را با پارامتر یا مدل دیگر تکرار و در داشبورد مصرف و هزینه را مقایسه کنید. نمونه‌های آماده در راهنمای cURL و راهنمای پایتون هست.

اصطلاحات نزدیک

• Top-p: Top-p پارامتری است که انتخاب توکن بعدی را به کوچک‌ترین مجموعه‌ای از توکن‌ها محدود می‌کند که احتمال تجمعی‌شان به p برسد.
• توهم مدل: توهم (Hallucination) وقتی است که مدل زبانی اطلاعات نادرست یا ساختگی را روان و مطمئن بیان می‌کند.
• حداکثر توکن خروجی: Max tokens سقف تعداد توکنی است که مدل مجاز است در پاسخ تولید کند؛ با رسیدن به آن، پاسخ قطع می‌شود.
• مهندسی پرامپت: مهندسی پرامپت نوشتن و بهبود دستورالعمل‌های ورودی مدل برای گرفتن خروجی دقیق‌تر، پایدارتر و مفیدتر است.

در پیکو هوش

پارامتر temperature در درخواست‌های سازگار با OpenAI پیکو هوش پذیرفته می‌شود؛ پشتیبانی نهایی به مدل بستگی دارد.

اشتباهات رایج

• باور اینکه temperature=0 همیشه خروجی کاملاً یکسان می‌دهد.
• مقدار بالا برای کارهایی که دقت می‌خواهند.