امتیاز ۹۹٪؛ مدل هوش مصنوعی واقعاً قابل‌اعتماد است؟ راهنمای ارزیابی ۲۰۲۶

پژوهشگر عملکرد مدل هوش مصنوعی را روی بنچمارک و سناریوهای واقعی ارزیابی می‌کند

فهرست مطالب

امتیاز ۹۹٪؛ مدل هوش مصنوعی واقعاً قابل‌اعتماد است؟

پژوهشگر عملکرد هوش مصنوعی را روی بنچمارک و سناریوهای واقعی بررسی می‌کند
امتیاز روی یک مجموعهٔ آزمون با عملکرد پایدار در کار واقعی یکی نیست.

اگر یک مدل روی بنچمارکی امتیاز ۹۹ درصد بگیرد، آیا می‌توان آن را برای محصول، کسب‌وکار یا کار روزانه انتخاب کرد؟ نه با همین عدد تنها. امتیاز فقط می‌گوید سامانه روی پرسش‌ها و شرایطی که آن سنجش تعریف کرده چگونه عمل کرده است. نتیجهٔ شما به زبان، ابزار، طول ورودی، دادهٔ محرمانه، خطای قابل‌قبول و شکل استفاده بستگی دارد. گزارش AI Index استنفورد در ۲۰۲۶ می‌گوید نمره‌های مدل‌ها در بنچمارک‌ها بالا رفته و بعضی سنجش‌ها با رشد قابلیت‌ها هم‌پای مدل‌ها پیش نرفته‌اند؛ NIST نیز میان دقت روی پرسش‌های داخل بنچمارک و دقت تعمیم‌یافته در مجموعهٔ بزرگ‌تر پرسش‌های مشابه تفاوت می‌گذارد. در این راهنما یاد می‌گیریم امتیاز را چگونه بخوانیم، آزمون خودمان را چگونه بسازیم و چه چیزی را پیش از خرید یا استقرار بسنجیم.

خلاصهٔ کاربردی: هیچ عددی را بدون نام آزمون، نسخهٔ مدل، تاریخ، مجموعهٔ پرسش، روش نمره‌دهی و عدم‌قطعیت مقایسه نکنید. از وظیفهٔ واقعی خود نمونه بسازید، پاسخ‌های مرجع و معیار پذیرش تعریف کنید، کیفیت و هزینه و زمان را کنار هم بسنجید و خطاهای جدی را جداگانه بررسی کنید. ارزیابی باید پس از تغییر مدل یا گردش‌کار تکرار شود.

بنچمارک دقیقاً چه چیزی را می‌سنجد؟

بنچمارک مجموعه‌ای از وظایف، پرسش‌ها یا ورودی‌ها به‌همراه شیوه‌ای برای ارزیابی پاسخ است. برای مثال، آزمونی دربارهٔ استدلال ریاضی ممکن است مسئله‌های چندگزینه‌ای داشته باشد؛ آزمون کدنویسی می‌تواند مسئلهٔ برنامه‌نویسی را در محیطی محدود اجرا کند؛ و آزمون مکالمه شاید از داور انسانی یا مدل ارزیاب استفاده کند. هر کدام بخشی از عملکرد را می‌بیند. اگر مدل در آزمون چندگزینه‌ای موفق شود، از آن نمی‌توان نتیجه گرفت که در توضیح مرحله‌به‌مرحله، پیروی از سیاست سازمان یا کار با پروندهٔ واقعی هم به همان اندازه خوب است.

چهار جزء را از هم جدا کنید: نمونه‌ها، شرایط اجرا، معیار نمره‌دهی و هدف تعمیم. نمونه‌ها تعیین می‌کنند چه چیزی آزموده شده؛ شرایط اجرا مشخص می‌کنند مدل چه ابزار یا زمانی داشته؛ معیار نمره می‌گوید پاسخ درست، مفید یا ترجیح‌داده‌شده چگونه تعریف می‌شود؛ و هدف تعمیم می‌پرسد آیا نتیجه برای مجموعه‌ای فراتر از همان نمونه‌ها قابل استفاده است. گزارش NIST AI 800-3 بر همین تمایز تأکید دارد: benchmark accuracy روی موارد داخل آزمون، با generalized accuracy روی جهان وسیع‌تری از موارد مشابه یکسان نیست. دو عدد ممکن است هر دو درست باشند، اما به دو پرسش متفاوت جواب دهند.

برای فهم تفاوت، یک آزمون ۱۰۰ پرسشی در نظر بگیرید. اگر مدل ۹۵ پاسخ درست بدهد، دقت مشاهده‌شده روی همان مجموعه ۹۵ درصد است. اما اگر پرسش‌ها آسان یا تکراری باشند، به زبان مورد نظر شما شباهت نداشته باشند یا از حوزهٔ تخصصی خاصی انتخاب شده باشند، این عدد نمایندهٔ کار روزانه نیست. با تغییر نمونه‌ها شاید نتیجه چند واحد بالا یا پایین شود. به همین دلیل، تعداد نمونه، روش نمونه‌گیری، فاصلهٔ اطمینان و تنوع ورودی را کنار میانگین ببینید. امتیاز بدون توضیح دربارهٔ چگونگی ساخت آزمون، زمینهٔ کافی برای تصمیم نمی‌دهد.

حتی وقتی یک معیار «دقت» نام دارد، تعریف آن می‌تواند متفاوت باشد. آیا پاسخ باید دقیقاً با کلیدواژهٔ مرجع برابر باشد؟ آیا هر پاسخ هم‌معنا امتیاز می‌گیرد؟ چه کسی کیفیت را می‌سنجد؟ آیا مدل ارزیاب به سبک نگارش یا طول پاسخ جانبدار است؟ در کار چندمرحله‌ای، آیا نتیجهٔ نهایی سنجیده می‌شود یا هر گام جدا؟ پیش از مقایسه، متن معیار را بخوانید. نمرهٔ ۸۰ در دو leaderboard ممکن است به‌علت وظایف، برش داده و مقیاس‌های متفاوت، معنای مشترک نداشته باشد.

خبر مهم ۲۰۲۶: نتیجهٔ بنچمارک با اعتمادپذیری برابر نیست

AI Index استنفورد در گزارش ۲۰۲۶ تصویری از پیشرفت سریع مدل‌ها ارائه می‌دهد و در همان فصل فنی هشدار می‌دهد که ارزیابی‌ها گاه از سرعت تغییر قابلیت‌ها عقب می‌مانند و دربارهٔ اعتبار بنچمارک‌ها پرسش‌هایی وجود دارد. این گزارش می‌گوید در بنچمارک کدنویسی SWE-bench Verified، عملکرد در یک سال از حدود ۶۰ درصد به نزدیک ۱۰۰ درصد رسیده است. این گزاره دربارهٔ یک آزمون مشخص و بازهٔ اندازه‌گیری‌شده است، نه اینکه همهٔ برنامه‌نویسی‌های واقعی تقریباً حل شده‌اند. در همان گزارش، عامل‌های AI در بعضی آزمون‌های ساختاریافته هنوز حدود یک‌سوم تلاش‌ها را ناموفق می‌گذارند؛ این نیز میانگینی برای همهٔ محصولات و وظایف نیست.

وقتی یک آزمون به سقف امتیاز نزدیک می‌شود، تفکیک مدل‌های قوی دشوارتر خواهد شد. یک امتیاز ۹۸ در برابر ۹۶ ممکن است به تفاوت واقعی اشاره کند یا از نمونه‌های آزمون، تصادف در اجرا و شیوهٔ نمره‌دهی تأثیر بگیرد. آزمون‌های اشباع‌شده معمولاً نیازمند نسخهٔ سخت‌تر، دادهٔ تازه یا وظایف نزدیک‌تر به استفادهٔ واقعی‌اند. این به‌معنی بی‌ارزش‌شدن هر بنچمارک قدیمی نیست؛ روند تاریخی ممکن است همچنان سودمند باشد. اما برای انتخاب ابزار امروز، باید سنجش به‌روز و متناسب با کاربرد را در کنار نتیجهٔ قدیمی قرار دهید.

NIST در گزارش AI 800-3 منتشرشده در فوریهٔ ۲۰۲۶ توضیح می‌دهد که روش‌های رایج گزارش‌دهی ممکن است فرض‌های پنهان داشته باشند، چند معنای متفاوت از عملکرد را یکی کنند یا عدم‌قطعیت را خوب اندازه نگیرند. در این گزارش، مدل‌های آماری از جمله مدل‌های خطی تعمیم‌یافتهٔ آمیخته برای برآورد قابلیت نهفته و تحلیل ترکیب آزمون بررسی شده‌اند. این یافته یادآوری می‌کند که leaderboard یک پنجرهٔ مفید است، ولی پژوهش آماری و تکرارپذیری برای تفسیر تفاوت‌ها اهمیت دارند. اگر دو مدل چند دهم درصد فرق دارند، پیش از اعلام برنده، دامنهٔ خطا و روش اندازه‌گیری را ببینید.

چارچوب TEVV-Athlon نهاد NIST، که پیش‌نویس عمومی آن در ۲۰۲۶ منتشر شد، ارزیابی را به نیاز سازمان و نتیجهٔ دنیای واقعی وصل می‌کند. TEVV کوتاه‌شدهٔ آزمون، ارزیابی، راستی‌آزمایی و اعتبارسنجی است. ایده این نیست که همهٔ محصولات را با یک مسابقه بسنجیم؛ ابتدا هدف اندازه‌گیری را مشخص می‌کنیم، سپس رویدادها و ابزار مناسب را طراحی و دادهٔ مرتبط را جمع می‌کنیم. این رویکرد برای مدل زبانی، سیستم چندوجهی، عامل دارای ابزار و حتی سامانهٔ سنتی یادگیری ماشین قابل تنظیم است. برای کسب‌وکار، پیام ساده است: آزمون باید به تصمیم واقعی که می‌خواهید بگیرید وصل شود.

انواع ارزیابی؛ هر کدام برای چه پرسشی مناسب‌اند؟

نوع ارزیابی پرسش اصلی نقطهٔ قوت محدودیت
بنچمارک ثابت مدل روی مجموعهٔ استاندارد چگونه عمل می‌کند؟ مقایسه‌پذیری و سهولت بازتولید ممکن است با کار واقعی فاصله داشته باشد
آزمون داخلی آیا با ورودی‌های کاری خود ما مناسب است؟ تناسب با زبان، سیاست و گردش‌کار نیازمند نمونه‌گیری و نگهداری دقیق
داوری انسانی کدام پاسخ برای کاربر مفیدتر و درست‌تر است؟ درک بافت و کیفیت چندبعدی هزینه، سوگیری داور و اختلاف نظر
اجرای ابزارمحور آیا عامل کار را در محیط واقعی تمام می‌کند؟ سنجش چند مرحله و استفاده از ابزار وابستگی به محیط، مجوز و تصادف
پایش پس از استقرار آیا کیفیت در استفادهٔ زنده حفظ می‌شود؟ دیدن رفتار در شرایط واقعی باید با حریم داده و تغییرات کنترل شود

بنچمارک عمومی برای فیلتر اولیه خوب است. می‌تواند مدل‌های نامزد را کم کند یا نشان دهد کدام گزینه در آزمون‌های شناخته‌شده عملکرد بیشتری داشته. اما انتخاب نهایی را روی نمونهٔ کار خودتان انجام دهید. اگر هدف پاسخ‌گویی به پرسش‌های فارسی دربارهٔ سیاست شرکت است، آزمون انگلیسی عمومی دربارهٔ منطق چندگزینه‌ای کافی نیست. اگر عامل باید فایل پیدا کند، فرم پر کند و درخواست را ثبت کند، فقط سنجش کیفیت متن نمی‌گوید آیا فرآیند کامل و مجاز اجرا می‌شود. هر مرحلهٔ واقعی را در آزمون بازنمایی کنید.

آزمون انسانی و خودکار را ترکیب کنید. امتیازدهی خودکار ارزان و سریع است، برای رگرسیون‌های پرتعداد مفید است و می‌تواند قالب یا مجموعهٔ پاسخ را کنترل کند. انسان در تشخیص تناقض، لحن نامناسب، حساسیت فرهنگی و خطر پیامد بهتر عمل می‌کند، اما خودش هم ممکن است خسته یا ناسازگار شود. برای پاسخ‌های متنی باز، راهنمای داوری کوتاه بنویسید، نمونه‌های مرجع بدهید و درصدی از پاسخ‌ها را مستقل به دو داور نشان دهید. اختلاف را ثبت کنید؛ توافق بالا و پایین هر دو می‌توانند اطلاعاتی دربارهٔ کیفیت معیار بدهند.

HELM، چارچوب ارزیابی مرکز پژوهش مدل‌های بنیادین دانشگاه استنفورد، به ارزیابی چند سناریو و چند معیار و تکرارپذیری توجه دارد. صفحات آن بنچمارک‌ها و leaderboardهای جداگانه برای توانایی عمومی، صدا، ایمنی، تصویر و وظایف پزشکی معرفی می‌کند. ارزش این رویکرد آن است که «یک نمرهٔ کلی» را به چند بُعد تفکیک می‌کند. با این حال، وجود یک چارچوب باز و شفاف هم تضمین نمی‌کند که سناریوهایش عین نیاز سازمان شما باشد؛ باید ببینید چه وظایفی، داده‌ها و نسخه‌هایی واقعاً اجرا شده‌اند و آیا پرسش‌های لازم برای استفادهٔ شما پوشش داده می‌شود.

چطور Eval اختصاصی برای محصول خودتان بسازید؟

کار را از جمع‌آوری «چند پرامپت جذاب» شروع نکنید؛ اول تصمیمی را تعریف کنید که آزمون باید پشتیبانی کند. آیا می‌خواهید بین دو مدل انتخاب کنید؟ آیا می‌خواهید نسخهٔ جدید را قبل از انتشار بسنجید؟ آیا می‌خواهید مطمئن شوید عامل هیچ‌گاه بدون اجازه فایل را حذف نمی‌کند؟ پرسش متفاوت به مجموعه و معیار متفاوت نیاز دارد. دامنهٔ آزمون را به وظیفهٔ مشخص محدود کنید و تعریف موفقیت و شکست را قبل از دیدن پاسخ‌ها بنویسید تا معیار با نتیجهٔ دلخواه تغییر نکند.

نمونه‌ها را از کار واقعی اما مجاز و کم‌خطر انتخاب کنید. برای استفادهٔ داخلی می‌توانید داده را ناشناس یا مصنوعی کنید و اطلاعات مشتری را بدون مجوز وارد ابزار خارجی نکنید. نمونه‌ها باید آسان، معمول، مبهم و دشوار باشند. موارد منفی هم بگذارید: زمانی که پاسخ دقیق وجود ندارد، دستور کار ناسازگار است یا منبع به‌روز نیست. اگر هر سؤال فقط یک جواب کوتاه دارد، کیفیت توضیح و رفتار هنگام عدم‌قطعیت دیده نمی‌شود. نسخهٔ آزمون را تاریخ‌گذاری کنید و بخشی را برای ارزیابی نهایی دست‌نخورده نگه دارید.

معیارها را به خروجی قابل‌مشاهده پیوند دهید. برای پاسخ دانشی می‌توان صحت، کفایت، استناد و توانایی گفتن «نمی‌دانم» را سنجید. برای استخراج داده، دقت فیلد، یادآوری و قالب را بسنجید. برای عامل، درصد کارهایی که با رعایت مجوز و بدون تکرار یا اثر جانبی ناخواسته تمام می‌شوند اهمیت دارد. برای پشتیبانی مشتری، حل درخواست، زمان پاسخ، نرخ ارجاع درست و احتمال پاسخ اشتباه را ببینید. برای کدنویسی، اجرای تست‌ها، امنیت، خوانایی و میزان اصلاح توسعه‌دهنده را کنار هم بسنجید. یک معیار واحد اغلب رفتارهای مهم را پنهان می‌کند.

برای هر معیار، آستانهٔ پذیرش و «خطای ممنوع» تعریف کنید. مثلاً ممکن است متوسط کیفیت پاسخ بالا باشد، اما افشای دادهٔ خصوصی یا اجرای پرداخت بدون تأیید انسانی ممنوع باشد. خطای با پیامد شدید را جداگانه وزن بدهید و گزارش میانگین را به‌گونه‌ای ننویسید که نمونه‌های نادر اما جدی گم شوند. سطح کیفیت لازم برای پیش‌نویس داخلی با پاسخ مستقیم به مشتری متفاوت است. آستانه را با هزینهٔ خطا، زمان بازبینی، حقوق مشتری و توان اصلاح تطبیق دهید؛ عدد ۹۰ درصد به‌خودی‌خود استاندارد عمومی نیست.

یک پروتکل تکرارپذیر بسازید: نسخهٔ مدل، تاریخ، تنظیمات، پرامپت، ابزارهای مجاز، سقف زمان، تعداد تلاش و شیوهٔ ارزیابی را ثابت و ثبت کنید. اگر هر مدل با تنظیم متفاوت اجرا شود، مقایسه منصفانه نیست. اگر خروجی تصادفی است، هر نمونه را چند بار اجرا کنید یا حداقل اثر تغییرپذیری را بسنجید. نتایج را همراه با فایل و شناسهٔ اجرا ذخیره کنید. برای مدل‌های سرویس ابری، نسخهٔ پشت‌صحنه ممکن است تغییر کند؛ تاریخ اجرای آزمون و نام نسخه را ثبت کنید و دوره‌ای دوباره بسنجید.

در تحلیل، به توزیع نگاه کنید، نه فقط میانگین. چند پاسخ عالی ممکن است خطاهای مکرر در یک گروه را پنهان کند. دسته‌بندی نمونه‌ها بر اساس زبان، طول متن، نوع درخواست، سطح دشواری یا محصول ورودی به شما نشان می‌دهد ضعف در کدام بخش است. برای اختلاف کوچک، دامنهٔ عدم‌قطعیت را نشان دهید و از ادعای برتری قطعی پرهیز کنید. اگر آزمون کوچک است، یک یا دو مورد بیشتر می‌تواند رتبه را تغییر دهد. یافتهٔ مناسب گاهی این است که «شواهد فعلی تفاوت قابل‌اتکا نشان نمی‌دهد» و نیاز به نمونهٔ بیشتر وجود دارد.

پس از انتخاب مدل، Eval را متوقف نکنید. از داده‌های واقعی فقط طبق قوانین و سیاست‌های سازمان و با کنترل حریم خصوصی برای پایش استفاده کنید. شکایت، ارجاع، بازنویسی انسانی و شکست فرایند را در نمونه‌های خطا جمع کنید. هر تغییر مهم در مدل، متن سیستم، ابزار، منابع بازیابی یا سیاست دسترسی می‌تواند رفتار را تغییر دهد. آزمون بازگشت را پیش از انتشار نسخهٔ تازه اجرا کنید و نتایج را مقایسه کنید. این کار به شما می‌گوید آیا تغییر، کیفیت را بالا برده و هم‌زمان خطر یا هزینه را بیشتر کرده است.

معیارهای ساده برای مقایسهٔ مدل‌ها

نمونهٔ کارت امتیاز چندبُعدی:

کیفیت پاسخ وزن پیشنهادی ۳۰٪
درستی منبع و استناد وزن پیشنهادی ۲۰٪
پیروی از سیاست و ایمنی وزن پیشنهادی ۲۵٪
زمان و هزینهٔ کامل کار وزن پیشنهادی ۱۵٪
پایداری و تجربهٔ کاربر وزن پیشنهادی ۱۰٪وزن‌ها صرفاً نمونه‌اند؛ هر سازمان باید با پیامد خطا و نیاز خود تنظیمشان کند.

اگر مدل اول پاسخ را در پنج ثانیه و با هزینهٔ پایین بدهد اما انسان در نیمی از موارد مجبور شود متن را بازنویسی کند، صرفه‌جویی واقعی شاید کمتر از حد انتظار باشد. هزینهٔ واقعی می‌تواند شامل فراخوانی مدل، ابزارهای فرعی، تأخیر شبکه، خطای برگشتی، بازبینی، پشتیبانی و نگهداری باشد. برای کارهایی با حجم زیاد، متوسط و صدک‌های بالا را جداگانه بررسی کنید تا موارد کند و پرهزینه دیده شوند. برای کار حیاتی، یک مسیر پشتیبان بدون مدل طراحی کنید. اگر سرویس قطع شود، کار باید با روش امن ادامه یابد.

ارزیابی ایمنی را به پرسش‌های کلی مانند «آیا مدل بی‌ضرر است؟» محدود نکنید. سناریوهای مشخص بسازید: درخواست اطلاعات خصوصی، دستور متناقض، فایل مخرب، منبع قدیمی، درخواست خارج از حوزه و تلاش برای دورزدن سیاست. برای هر سناریو، پاسخ مورد انتظار و سطح خطر را تعریف کنید. در سیستم‌های متصل به ابزار، جداگانه بسنجید آیا مدل فقط پیشنهاد می‌دهد یا مجاز است عمل کند؛ آیا تأیید انسانی پیش از اقدام لازم است؛ و آیا گزارش اجرای واقعی در دسترس است. یک مدل زبانی می‌تواند در پاسخ متنی درست باشد ولی در فراخوانی ابزار اشتباه کند.

برای فارسی، کیفیت را با نمونه‌های واقعی زبان بسنجید. گویش، شکل نوشتاری، نیم‌فاصله، عددهای فارسی و لاتین، متن راست‌به‌چپ، املای محاوره‌ای و ترکیب فارسی با اصطلاح تخصصی روی استخراج و پاسخ اثر دارند. آزمون ترجمه‌شده از انگلیسی ممکن است نمونه‌های طبیعی را پوشش ندهد. از متخصص یا کاربران فارسی‌زبان بخواهید کیفیت و سوءتفاهم را ارزیابی کنند. اگر محتوا دربارهٔ ایران، قوانین محلی یا محصول بومی است، مدل باید منابع و تاریخ دقیق را ارائه کند؛ حافظهٔ عمومی آن را جایگزین جست‌وجوی مستند نکنید.

چرا leaderboards گاهی نتیجهٔ گمراه‌کننده می‌دهند؟

رتبهٔ یک leaderboard تحت تأثیر انتخاب نمونه‌ها، نسخهٔ مدل، تنظیمات اجرا، سیاست‌های ایمنی و نمره‌دهنده است. دو تیم ممکن است یک مدل را با پرامپت و ابزار متفاوت اجرا کنند. برخی نتایج از مدل ارزیاب استفاده می‌کنند که ممکن است به پاسخ طولانی یا سبک خاص امتیاز بیشتر بدهد. در آزمون‌های عمومی، احتمال آشنایی مدل با پرسش‌های مشابه وجود دارد و برخی ورودی‌ها ممکن است به‌صورت مستقیم یا غیرمستقیم دیده شده باشند. این موضوع لزوماً تقلب را ثابت نمی‌کند، اما نتیجه را به طراحی آزمون وابسته می‌کند.

مدل ارزیاب خودش خطا دارد. اگر وظیفهٔ ارزیابی کیفیت نوشتار باشد، داور خودکار ممکن است پاسخ پرجزئیات را بر پاسخ کوتاه و دقیق ترجیح دهد؛ اگر سؤال فارسی باشد، مدل ارزیاب انگلیسی‌محور ممکن است ظرافت را گم کند. روش بهتر، ترکیب معیارهای مکانیکی، داوری انسانی و آزمون کاربردی است. برای سنجش پاسخ‌های باز، بخشی از نمونه را به‌صورت کور و با چند داور بررسی کنید. ترتیب ارائهٔ پاسخ‌ها را تصادفی کنید تا ترجیح مدل در موقعیت اول یا دوم روی نتیجه اثر نگذارد.

گاهی یک سنجهٔ واحد به هدف تبدیل می‌شود. وقتی سازمان فقط به نرخ تکمیل نگاه کند، مدل ممکن است برای رسیدن به جواب، اطلاعات جعلی بسازد؛ وقتی فقط سرعت را پاداش دهد، دقت و شرح محدودیت افت می‌کند. روش آزمون باید رفتارهای ناخواسته را هم ثبت کند. «پاسخ داد» مساوی «کار را درست انجام داد» نیست. برای عامل، آیا کار بدون درخواست اضافه تمام شد؟ آیا مجوز لازم گرفته شد؟ آیا تغییری برگشت‌پذیر بود؟ آیا کاربر توانست نتیجه را تأیید کند؟ معیارهای نتیجه و فرایند باید با هم دیده شوند.

چک‌لیست پیش از خرید یا عرضهٔ مدل

  1. کار موردنظر، کاربر و دامنهٔ مجاز را با یک جمله تعریف کنید.
  2. نام مدل، نسخه، تنظیمات، تاریخ و ابزارهای همراه را ثبت کنید.
  3. مجموعهٔ آزمون را از وظایف واقعی و نمونه‌های دشوار بسازید.
  4. معیار موفقیت، خطای ممنوع و آستانهٔ توقف را پیش از اجرا بنویسید.
  5. کیفیت، ایمنی، زمان، هزینه و نیاز بازبینی انسانی را جدا بسنجید.
  6. نتایج را به تفکیک زبان، گروه و نوع درخواست تحلیل کنید.
  7. برای اختلاف امتیاز، عدم‌قطعیت و محدودیت نمونه را گزارش دهید.
  8. در استفادهٔ زنده، پایش، بازخورد و آزمون بازگشت داشته باشید.
  9. دادهٔ محرمانه را بدون اجازه و کنترل مناسب وارد سرویس نکنید.
  10. برای توقف سرویس یا شکست ابزار، مسیر جایگزین داشته باشید.

یک گزارش کوتاه ارزیابی باید نتیجه را به زبان تصمیم‌گیرنده ترجمه کند: مدل برای چه وظیفه‌ای مناسب است؛ در کجا ضعف دارد؛ کدام خطا نیاز به بازبینی دارد؛ در چه شرایطی آزمون شده؛ و چه داده‌ای برای تصمیم باقی مانده است. جدول بلند معیارها جای نتیجهٔ روشن را نمی‌گیرد. خلاصهٔ یک‌صفحه‌ای و پیوست فنی هر دو مفیدند. در پیوست، نمونه‌ها، معیارها، نسخه‌ها و روش نمره‌دهی را نگه دارید؛ در خلاصه، کاربردهای تأییدشده و محدودیت‌ها را بنویسید.

پرسش‌های متداول

آیا امتیاز نزدیک ۱۰۰ درصد یعنی مدل بی‌خطاست؟

خیر. این نتیجه به مجموعه و معیار آزمون اشاره دارد. برای سنجش دنیای واقعی، نمونه‌های جدید، ورودی‌های متفاوت، خطاهای پرپیامد و پایداری در اجرا را بررسی کنید. امتیاز بالا می‌تواند نشانهٔ عملکرد قوی در آن کار باشد، نه تضمین کلی.

آیا می‌توان دو مدل را با یک عدد leaderboard مقایسه کرد؟

اگر مجموعه، نسخه، تنظیمات، نمونه‌ها و روش نمره‌دهی یکی باشد، مقایسه معنی‌دارتر است. بااین‌حال، اختلاف کوچک ممکن است در دامنهٔ عدم‌قطعیت قرار گیرد. پیش از نتیجه‌گیری، جزئیات روش را بخوانید و آزمون متناسب با کاربرد خودتان اجرا کنید.

برای انتخاب مدل در کسب‌وکار، چند سؤال لازم است؟

عدد ثابت و همگانی وجود ندارد. تنوع وظایف، ریسک خطا و میزان تکرار مهم‌اند. مجموعه باید موارد معمول، دشوار، مبهم و منفی را دربرگیرد. آزمون کوچک برای غربال اولیه مناسب است؛ عرضهٔ حساس به ارزیابی عمیق‌تر و تکرارپذیر نیاز دارد.

آیا می‌شود از مدل دیگری برای داوری پاسخ‌ها استفاده کرد؟

بله، به‌عنوان یکی از ابزارها، اما داور خودکار ممکن است به طول پاسخ، سبک یا الگوهای خاص سوگیری داشته باشد. معیار دقیق، نمونهٔ مرجع، بررسی انسانی روی بخشی از داده و مقایسه با معیارهای مکانیکی کمک می‌کند خطای ارزیاب دیده شود.

چطور کیفیت مدل فارسی را بسنجیم؟

از نمونه‌های طبیعی فارسی و نیاز واقعی استفاده کنید: متن نیمه‌رسمی، اصطلاح، گویش، عدد و ورودی ترکیبی. ارزیاب فارسی‌زبان را درگیر کنید و صحت منبع، روانی، فهم درخواست و خطای معنایی را جدا ثبت کنید. ترجمهٔ آزمون انگلیسی کافی نیست.

آیا هر بار تغییر مدل باید Eval را تکرار کنم؟

برای تغییر نسخه، ابزار، دستورالعمل، پایگاه دانش یا دسترسی که می‌تواند خروجی را عوض کند، آزمون بازگشت لازم است. شدت و اندازهٔ آزمون را با ریسک تغییر تنظیم کنید. لاگ نسخه و نتیجه را نگه دارید تا افت ناخواسته کشف شود.

چه تفاوتی بین accuracy و generalized accuracy هست؟

در گزارش NIST، دقت بنچمارک عملکرد روی مجموعهٔ پرسش‌های داخل همان آزمون را نشان می‌دهد؛ دقت تعمیم‌یافته تلاش می‌کند عملکرد روی جمع وسیع‌تری از موارد مشابه را برآورد کند. روش و فرض‌های محاسبه متفاوت‌اند، بنابراین این دو را با هم یکی نکنید.

برای عامل هوش مصنوعی چه چیزهایی را باید آزمون کنم؟

علاوه بر کیفیت پاسخ، تکمیل کل کار، استفادهٔ درست از ابزار، رعایت مجوز، ترتیب مراحل، مدیریت خطا، برگشت‌پذیری و نیاز به تأیید انسانی را بررسی کنید. محیط آزمون را ثبت کنید و مطمئن شوید شکست‌های نادر و اثر جانبی نیز شمرده می‌شوند.

واژه‌نامهٔ انگلیسی ارزیابی هوش مصنوعی

این اصطلاحات کمک می‌کنند اسناد فنی و صفحه‌های leaderboard را دقیق‌تر بخوانید؛ ترجمهٔ هر اصطلاح را با هدف اندازه‌گیری همان آزمون تطبیق دهید.

  • Benchmark: standardized collection of tasks and evaluation rules.
  • Benchmark accuracy: performance measured on included test examples.
  • Generalized accuracy: estimated performance across similar unseen examples.
  • Evaluation set: data reserved for measuring system behavior.
  • Test set: examples used for final model assessment.
  • Training set: examples used to fit model parameters.
  • Validation set: examples used for tuning development choices.
  • Data leakage: unintended overlap that reveals evaluation answers.
  • Contamination: prior exposure to benchmark questions or answers.
  • Metric: numerical rule summarizing some aspect of performance.
  • Accuracy: fraction of predictions matching an accepted answer.
  • Precision: fraction of positive predictions that are correct.
  • Recall: fraction of relevant cases successfully identified.
  • F1 score: harmonic mean combining precision and recall.
  • Calibration: alignment between confidence values and observed correctness.
  • Confidence interval: range expressing uncertainty around an estimate.
  • Standard error: estimated variation of a statistic across samples.
  • Sample size: number of evaluated cases in an experiment.
  • Sampling frame: defined population from which evaluation cases are drawn.
  • Representative sample: sample reflecting the target use population.
  • Stratified sampling: selection across predefined groups or categories.
  • Distribution shift: change between evaluation data and deployment inputs.
  • Subgroup analysis: performance review for specific user groups.
  • Benchmark saturation: limited ability to distinguish strong systems on a test.
  • Ceiling effect: scores clustered near the maximum possible value.
  • Floor effect: scores clustered near the minimum possible value.
  • Leaderboard: ranked listing of systems and reported evaluations.
  • Evaluation protocol: documented steps for running and scoring tests.
  • Reproducibility: ability to repeat an evaluation with similar results.
  • Replicability: confirmation by an independent team or setup.
  • Prompt template: fixed instruction pattern used during testing.
  • Inference settings: parameters controlling model response generation.
  • Temperature: sampling parameter affecting output variability.
  • Multiple runs: repeated trials used to measure stochastic variation.
  • Human evaluator: person scoring or comparing model responses.
  • Model judge: AI system used to rate another model’s output.
  • Judge bias: systematic tendency affecting automatic evaluation scores.
  • Pairwise preference: comparison asking which of two outputs is preferred.
  • Rubric: written criteria guiding consistent response assessment.
  • Reference answer: response used as a comparison or scoring target.
  • Exact match: criterion requiring identical or normalized answer text.
  • Semantic match: criterion allowing meaning-equivalent responses.
  • Task completion: successful achievement of a specified goal.
  • Tool use: model interaction with external functions or software.
  • Agent benchmark: test measuring multi-step actions by AI systems.
  • Execution environment: controlled setting where a task is performed.
  • Sandbox: isolated environment limiting system actions and access.
  • Success rate: proportion of tasks meeting defined completion criteria.
  • Failure rate: proportion of tasks with an unacceptable outcome.
  • Regression test: repeated check for behavior changes after an update.
  • Safety evaluation: assessment of harmful or policy violating outputs.
  • Adversarial test: input designed to expose weaknesses or misuse.
  • Robustness: ability to maintain acceptable performance under variation.
  • Reliability: consistency of behavior across relevant conditions.
  • Validity: degree to which a test measures its intended construct.
  • External validity: relevance of results beyond the tested setting.
  • Construct validity: alignment between a test and target capability.
  • Statistical significance: evidence against a specified chance model.
  • Practical significance: importance of a measured difference in use.
  • Effect size: magnitude of a difference or association.
  • Generalized linear mixed model: statistical model handling grouped variation.
  • Latent capability: underlying ability inferred from observed performance.
  • Measurement target: quantity an evaluation is designed to estimate.
  • Uncertainty quantification: methods for expressing unknown measurement variation.
  • Evaluation drift: change in score caused by data or method changes.
  • Task taxonomy: organized categories describing evaluated activities.
  • Scenario coverage: range of situations included in an assessment.
  • Capability benchmark: test focused on model task performance.
  • Safety benchmark: test focused on harmful behavior and safeguards.
  • Multimodal evaluation: assessment using more than one data modality.
  • Vision language benchmark: test of systems processing images and text.
  • Audio benchmark: evaluation of speech understanding or generation.
  • Coding benchmark: assessment of software generation or repair tasks.
  • Math benchmark: test of mathematical reasoning and problem solving.
  • Knowledge benchmark: assessment of factual recall or understanding.
  • Instruction following: ability to comply with user specified constraints.
  • Groundedness: degree of support from supplied sources or data.
  • Faithfulness: consistency between an answer and its evidence.
  • Hallucination rate: frequency of unsupported or fabricated claims.
  • Refusal rate: frequency of declining a requested task.
  • Over refusal: declining safe or appropriate requests.
  • Under refusal: complying with unsafe or disallowed requests.
  • Latency: time between request and usable response.
  • Throughput: work completed per unit of time or capacity.
  • Token cost: price associated with generated or processed text units.
  • Total cost of ownership: all expenses over system operation and support.
  • Human review rate: fraction of outputs requiring manual inspection.
  • Correction rate: frequency with which human users edit generated outputs.
  • Escalation rate: share of tasks transferred to a human or specialist.
  • User satisfaction: reported experience of people using a system.
  • Operational metric: measurement reflecting real workflow performance.
  • Offline evaluation: testing on saved data outside live use.
  • Online evaluation: measurement during real or controlled live traffic.
  • A B test: comparison of alternatives assigned to different user groups.
  • Shadow deployment: running a model without affecting user decisions.
  • Canary release: limited rollout to detect problems before expansion.
  • Post deployment monitoring: ongoing measurement after system launch.
  • Event logging: recording important inputs outputs and actions.
  • Version tracking: recording the model and configuration for each run.
  • Model card: document describing model intended use and limitations.
  • Dataset card: document describing data sources and known constraints.
  • Benchmark documentation: explanation of tasks scoring and dataset design.
  • Open evaluation: transparent methods that others can inspect and reproduce.
  • Private benchmark: restricted evaluation set intended to reduce leakage.
  • Fresh test data: examples collected after a model’s training cutoff.
  • Data refresh: process of updating evaluation cases over time.
  • Evaluation suite: collection of tests run together for a purpose.
  • Acceptance threshold: minimum level required for a system decision.
  • Stop criterion: condition requiring pause or rejection of deployment.
  • Risk weighting: assigning greater importance to high impact failures.
  • Critical failure: error that violates a must not condition.
  • Failure taxonomy: categories used to classify observed mistakes.
  • Error analysis: examination of examples the system handled poorly.
  • Root cause analysis: investigation of why a failure occurred.
  • Evaluation report: record of method results limitations and conclusions.
  • TEVV: testing evaluation verification and validation process.
  • Test: controlled procedure probing system behavior.
  • Evaluation: measurement against defined goals and criteria.
  • Verification: checking whether specified requirements were met.
  • Validation: checking whether a system suits its intended use.
  • AI Risk Management Framework: guidance for organizing AI risk practices.
  • Use case: defined context where a system is applied.
  • Deployment context: people processes and conditions surrounding system use.
  • Benchmark portability: relevance of an evaluation across model or task changes.
  • Evaluation contamination: exposure that compromises a test’s independence.
  • Score normalization: adjustment placing results on a comparable scale.
  • Metric gaming: optimizing a score while weakening the real goal.
  • Goodhart’s law: warning that a measure can fail when used as a target.
  • Utility function: formal representation of desired tradeoffs.
  • Quality gate: required checks before an update is released.
  • Evaluation owner: person responsible for method and reporting.
  • Human baseline: performance of people under comparable conditions.
  • Expert baseline: performance of qualified specialists on a task.
  • Confidence interval overlap: uncertainty that may limit ranking conclusions.
  • Benchmark suite: group of related evaluations covering different tasks.
  • Model comparison: controlled assessment of alternative systems.
  • Cost quality frontier: tradeoff between output quality and operating expense.
  • Language coverage: representation of languages in an evaluation set.
  • Real world task: activity reflecting conditions of practical use.
  • Evaluation reproducibility: ability to recreate a reported measurement.
  • Measurement assumption: condition required for a result interpretation.
  • Reporting bias: selective publication of favorable evaluation outcomes.
  • Model selection: choosing a system based on relevant evidence.
  • Benchmark score: numerical outcome for a defined test and method.

جمع‌بندی: از رتبهٔ کلی به شواهد قابل‌استفاده برسید

بنچمارک‌ها ارزش دارند؛ آن‌ها می‌توانند مدل‌های نامزد را غربال کنند، پیشرفت را دنبال کنند و بحث را از برداشت‌های سلیقه‌ای به اندازه‌گیری ببرند. اما عددی که از آزمون مشخص آمده، پاسخ همهٔ پرسش‌های شما نیست. AI Index 2026، NIST و چارچوب‌های شفاف مانند HELM به یک نیاز مشترک اشاره می‌کنند: بدانیم چه چیزی سنجیده شده، نتیجه با چه عدم‌قطعیتی همراه است و چقدر به محیط استفاده نزدیک است. برای کار واقعی، یک Eval هدفمند و تکرارپذیر بسازید.

پیش از انتخاب مدل، نمونه‌های فارسی و واقعی خود را تعریف کنید، معیارهای چندگانه داشته باشید، خطاهای شدید را جدا حساب کنید، روش را ثبت کنید و پس از هر تغییر مهم دوباره بسنجید. اگر مدل در آزمون شما امتیاز کمتر اما هزینهٔ اصلاح پایین‌تر و رفتار قابل‌پیش‌بینی‌تر دارد، ممکن است انتخاب بهتری باشد. تصمیم بر پایهٔ کاربرد، پیامد و شواهد گرفته می‌شود؛ امتیاز روی پوستر تنها یکی از ورودی‌های آن است.

منابع اولیه: گزارش AI Index دانشگاه استنفورد در ۲۰۲۶، گزارش NIST AI 800-3 دربارهٔ تحلیل آماری بنچمارک‌ها، چارچوب TEVV-Athlon برای ارزیابی AI و چارچوب باز و چندمعیارهٔ HELM. زمان انتشار و نسخهٔ هر سنجش را هنگام مراجعه بررسی کنید؛ نتیجهٔ گزارش استنفورد دربارهٔ دورهٔ پوشش همان گزارش است.

مدل را با کار واقعی خودتان بسنجید

برای طراحی آزمون، مقایسهٔ خروجی‌ها یا یادگیری کار با دستیارهای AI، می‌توانید ابزارها را در وظیفهٔ کم‌ریسک امتحان کنید. قبل از انتخاب برای کار حساس، معیار و نمونهٔ واقعی خود را بسازید و سیاست داده را بخوانید.

مشاهدهٔ محصول Gemini Plusمشاهدهٔ محصول ChatGPT Plus

پرداخت اقساطی ترب‌پیهر قسط 54.750 تومان
هر قسط 54.750 تومان•خرید قسطی با ترب‌پی بدون کارمزد   

“تسلط به برنامه‌نویسی پایتون با هوش مصنوعی: آموزش کدنویسی هوشمند با ChatGPT”

قیمت اصلی 2.290.000 تومان بود.قیمت فعلی 219.000 تومان است.

آموزش برنامه‌نویسی پایتون با کمک ChatGPT؛ از مبانی کدنویسی و حل خطا تا ساخت پروژه‌های هوشمند.