آزمایشگاه مرجع ارزیابی مدل‌های زبانی بزرگ فارسی تحت عنوان سنجه به‌طور رسمی رونمایی شد

به گزارش گروه دانشگاه خبرگزاری دانشجو، مراسم راه‌اندازی آزمایشگاه مرجع ارزیابی مدل‌های زبانی بزرگ فارسی با حضور دکتر مسعود صبایی، معاون پژوهشی دانشگاه صنعتی امیرکبیر، و جمعی از مدیران، متخصصان و فعالان حوزه هوش مصنوعی برگزار شد.

این آزمایشگاه به سفارش هلدینگ هوشمند سینا توسط محققان آزمایشگاه پردازش زبان طبیعی دانشگاه صنعتی امیرکبیر راه اندازی شده است.

در این آزمایشگاه، مدل‌های زبانی بزرگ فارسی در مجموعه‌ای از شاخص‌ها و آزمون‌های تخصصی مورد ارزیابی قرار می‌گیرند و عملکرد آنها در حوزه‌هایی از جمله دانش عمومی، درک زبان فارسی در سطوح مختلف رسمی و غیررسمی و ادبی و استعاره‌ای، توانایی حل مسائل ریاضی، ایمنی مدل‌ها شامل سوگیری و توهم و حملات خصمانه، درک مفاهیم در حوزه‌های تخصصی از جمله حقوقی و پزشکی و هنری و مذهبی و سایر شاخص‌های مرتبط بررسی خواهد شد.

راه‌اندازی این آزمایشگاه با هدف ایجاد یک مرجع قابل اتکا برای سنجش کیفیت مدل‌های زبانی بزرگ فارسی انجام شده است؛ چراکه با افزایش تعداد مدل‌های توسعه‌یافته در کشور، وجود سازوکاری استاندارد برای ارزیابی و مقایسه عملکرد آنها به یکی از نیاز‌های مهم زیست‌بوم هوش مصنوعی تبدیل شده است.

بر اساس این طرح، ارزیابی مدل‌ها به‌صورت دوره‌ای انجام می‌شود و نتایج حاصل از آزمون‌ها در قالب رتبه‌بندی منتشر خواهد شد. این سازوکار ضمن فراهم کردن امکان مقایسه شفاف میان مدل‌ها، به توسعه‌دهندگان کمک می‌کند نقاط ضعف و قوت محصولات خود را شناسایی و برای ارتقای مستمر کیفیت آنها اقدام کنند.

از سوی دیگر، نتایج این ارزیابی‌ها می‌تواند به مصرف‌کنندگان و سازمان‌ها در انتخاب مدل مناسب برای کاربرد‌های مختلف کمک کند و تصویری واقعی‌تر از توانمندی مدل‌های موجود در اختیار آنها قرار دهد.

همکاری میان هلدینگ هوشمند سینا و دانشگاه صنعتی امیرکبیر در راه‌اندازی این آزمایشگاه، گامی در جهت پیوند ظرفیت‌های علمی و دانشگاهی با نیاز‌های صنعت هوش مصنوعی و ایجاد زیرساخت‌های تخصصی برای توسعه مدل‌های بومی زبان فارسی به شمار می‌رود.

توضیحات بیشتر در مورد این آزمایشگاه و نتایج حاصل شده در لیدربورد سنجه در لینک زیر در دسترس است:

https://sinasmart.ir/llm-evaluation