</>مدرسه زیب‌موجیاد بگیر، تمرین کن، بساز
درس 13 از 20 · ۳۵ دقیقه

کیفیت را با آزمون بسنج در مدل‌های زبانی بزرگ

چند مثال موفق کافی نیست. مجموعه آزمون باید حالت عادی، مبهم، مرزی و خطرناک داشته باشد و نسخه‌های مختلف را با معیار یکسان مقایسه کند.

۰امتیاز شما
نقشه این درس

بعد از این درس چه کاری می‌توانی انجام بدهی؟

  • مفهوم «مورد آزمون» را با مثال ساده توضیح بدهی
  • نمونه این درس را مرحله‌به‌مرحله تغییر بدهی
  • یک حالت عادی و یک حالت مرزی را مقایسه کنی
  • نتیجه را بدون اصطلاح گنگ برای فرد دیگری توضیح بدهی
به زبان زندگی واقعی

مدل‌های زبانی بزرگ را ساده بفهم

یک سیستم هوش مصنوعی مثل همکار تازه‌وارد است؛ بدون زمینه، نمونه و معیار موفقیت ممکن است پاسخی روان اما نادرست بدهد.

نکته مهم برای شروع مدل‌های زبانی بزرگ

اصل مهم: در هر تمرین فقط یک مفهوم تازه را تغییر بده؛ چند تغییر هم‌زمان یادگیری و خطایابی را سخت می‌کند.

چرا مهم است؟ ورودی و انتظار از پیش نوشته‌شده.

اولین تمرین تو: پنج سؤال آزمون بنویس: دو عادی، یک مبهم، یک مرزی و یک خطرناک.

توضیح ساده و قدم‌به‌قدم

از یک مثال کوچک شروع کن

چند مثال موفق کافی نیست. مجموعه آزمون باید حالت عادی، مبهم، مرزی و خطرناک داشته باشد و نسخه‌های مختلف را با معیار یکسان مقایسه کند. برای نمونه، در پروژه «دستیار پاسخ‌گوی محصول» همین مفهوم را روی یک داده کوچک و قابل مشاهده امتحان می‌کنیم؛ اول نتیجه را حدس می‌زنیم و بعد فقط یک بخش را تغییر می‌دهیم.

1

۱. مثال را با زبان خودت بگو

پیش از کد یا پرامپت، ورودی، کار و نتیجه را در سه جمله کوتاه بنویس.

2

۲. کوچک‌ترین نمونه را بساز

فقط یک مفهوم تازه اضافه کن تا رابطه علت و نتیجه گم نشود.

3

۳. یک حالت متفاوت را امتحان کن

مقدار عادی، مرزی یا نامعتبر را تغییر بده و تفاوت را توضیح بده.

نکته مهم

اصل مهم: در هر تمرین فقط یک مفهوم تازه را تغییر بده؛ چند تغییر هم‌زمان یادگیری و خطایابی را سخت می‌کند.

مفهوم‌های اصلی

سه قطعه‌ای که باید بفهمی

مورد آزمون

ورودی و انتظار از پیش نوشته‌شده.

امتیازدهی

قاعده ثابت برای مقایسه.

پوشش

تنوع حالت‌های واقعی و دشوار.

سناریوی واقعی

ساخت «دستیار پاسخ‌گوی محصول» با داده معتبر، معیار کیفیت و کنترل انسانی.

برای نمونه، در پروژه «دستیار پاسخ‌گوی محصول» همین مفهوم را روی یک داده کوچک و قابل مشاهده امتحان می‌کنیم؛ اول نتیجه را حدس می‌زنیم و بعد فقط یک بخش را تغییر می‌دهیم.

ورودی روشنیک تغییر کوچکنتیجه قابل سنجش
کارگاه تعاملی

ارزیابی ساختار پرامپت

متن به هیچ سرویس هوش مصنوعی فرستاده نمی‌شود؛ ساختار نقش، زمینه، محدودیت و قالب خروجی روی همین دستگاه سنجیده می‌شود.

llm-evaluation
ارزیابیآماده
یک بخش را تغییر بده و دکمه بررسی را بزن.
بعد از هر تغییر، نتیجه را دوباره بررسی کن.
تمرین هدایت‌شده

پنج سؤال آزمون بنویس: دو عادی، یک مبهم، یک مرزی و یک خطرناک.

دام‌های رایج

این سه اشتباه را انجام نده

1

کپی نمونه بدون پیش‌بینی خروجی

2

افزودن چند مفهوم تازه در یک مرحله

3

نادیده‌گرفتن حالت خالی یا نامعتبر

سنجش چندمرحله‌ای

با 5 سؤال مطمئن شو که مفهوم را گرفته‌ای

سؤال 1 از 5

هدف اصلی این درس چیست؟

سؤال 2 از 5

مورد آزمون در این درس چه نقشی دارد؟

سؤال 3 از 5

بهترین ترتیب تمرین کدام است؟

سؤال 4 از 5

کدام حالت باید جدا آزمایش شود؟

سؤال 5 از 5

چه زمانی آماده درس بعدی هستی؟

پایان درس 13

فهمیدی، تغییر دادی، نتیجه را توضیح دادی؟

فقط در این صورت درس را کامل کن و سراغ مرحله بعد برو.