بنچمارک‌گیری به هنجاری صنعتی برای نحوه اعتبارسنجی قابلیت‌های مدل‌های خود توسط شرکت‌های هوش مصنوعی تبدیل شده است و زمانی که معیارها به نفع آن‌ها تغییر می‌کند، از رقبا متمایز شده و برتری خود را تبلیغ می‌کنند. به عبارت دیگر، بنچمارک‌های خوب تقریباً همیشه به معنای روابط عمومی خوب هستند.

متأسفانه، شرکت‌ها همچنین دریافته‌اند که چگونه سیستم‌های بنچمارک قدیمی را دور بزنند — بسیاری از این سیستم‌ها قدیمی‌تر هستند و برای سنجش قابلیت‌های مدل‌های مدرن ساخته نشده‌اند.

Vals، استارت‌آپی که در سال ۲۰۲۴ تأسیس شد، می‌گوید که مأموریت خود را اصلاح این سیستم بسیار ناقص قرار داده است. در کمتر از دو سال، این شرکت خود را به عنوان یک حضور قابل توجه در صنعت فناوری تثبیت کرده و سال گذشته موفق به جذب دور سرمایه‌گذاری اولیه (seed round) به رهبری 8VC و Bloomberg Beta شد. سپس ماه گذشته، پس از یک دوره رشد سریع، ۴۰ میلیون دلار در دور سری A به رهبری Andreessen Horowitz جذب کرد.

رایان کریشنان، یکی از بنیان‌گذاران ۲۵ ساله این شرکت، پیشتر در Palantir کارآموزی کرده بود و در دوران کارشناسی خود در استنفورد، برای مایکروسافت و آزمایشگاه هوش مصنوعی مشهور این دانشگاه کار می‌کرد. کریشنان می‌گوید Vals از مشاهدات شخصی او درباره این که بنچمارک‌گیری چگونه از پیشرفت‌های صنعتی که برای اندازه‌گیری آن طراحی شده بود عقب مانده است، متولد شد.

کریشنان توضیح می‌دهد: «ما شاهد بودیم که دسته‌ای از مدل‌های جدید و بسیار توانمند به سرعت وارد بازار می‌شوند و بنچمارک‌های آکادمیک با این پیشرفت مرزی همگام نبودند.» کریشنان گفت با توجه به ادغام هوش مصنوعی در تمام بخش‌های جامعه، بنچمارک‌ها واقعاً باید وجود داشته باشند تا تأیید کنند که مدل‌ها می‌توانند آنچه شرکت‌ها تبلیغ می‌کنند انجام دهند.

هفته گذشته، بنیان‌گذار جوان مرا در دفتر دو طبقه شرکتش در خیابان فولسوم سانفرانسیسکو گرداند — یک ساختمان آجری قدیمی که یک قرن پیش محل یک کارخانه آبجوسازی بزرگ بود. این سازه تاریخی اکنون به جای تولید صنعتی آبجو، محل استقرار چندین استارت‌آپ مختلف است که به دنبال ارائه آینده صنعت فناوری هستند.

کریشنان به من می‌گوید: «از نظر تاریخی، به نظر من ارزیابی به روشی بسیار انتزاعی برای سنجش هوش انجام شده است. مثلاً آیا مدل‌ها اطلاعات کافی برای شرکت در آزمونی از نوع آزمون وکالت دارند؟»

در اینجا، Vals به دنبال تمایز خود است. در حالی که بسیاری از سیستم‌های بنچمارک آزمون‌هایی را ارائه می‌دهند که به صورت عمومی در دسترس هستند (این می‌تواند به یک شرکت اجازه دهد مدل خود را بر اساس آن آزمون‌ها آموزش دهد، که به طور قابل بحثی تقلب در امتحان محسوب می‌شود)، Vals مواد آزمون خاص خود را به صورت عمومی افشا نمی‌کند. Vals به جای اندازه‌گیری دانش عمومی یک مدل هوش مصنوعی، مدل‌ها را بر اساس توانایی آن‌ها در تکمیل وظایف پیچیده مرتبط با صنایع خاص مانند حقوق، امور مالی و کدنویسی نیز ارزیابی می‌کند.

کریشنان گفت: «کاری که ما انجام می‌دهیم در واقع بررسی تأثیرات واقعی مدل‌ها است. آیا آن‌ها می‌توانند کاری انجام دهند که محصولی با کیفیت برابر با یک انسان در هر حوزه‌ای تولید کند؟»

او می‌گوید ایده این است که نه تنها نتایج مثبت بلکه نتایج منفی نیز بررسی شود. امید آن است که تحلیل شود «اگر این مدل‌ها در جهان رها شوند، پیامدهای منفی چه خواهد بود.»

قابلیت‌هایی که Vals اندازه‌گیری می‌کند در حال گسترش است. علاوه بر صنایع سنتی‌تر، این استارت‌آپ به پیشروی در حوزه‌های منحصربه‌فردتر ادامه می‌دهد. کریشنان توضیح می‌دهد: «ما یک بنچمارک در زمینه خودبهبودی بازگشتی (recursive self improvement) داریم. ما در حوزه سلامت روان، امنیت سایبری، امنیت زیستی و حتی قوانین مخاصمات مسلحانه برای مدل‌ها کار می‌کنیم تا نحوه اعمال کنوانسیون ژنو را درک کنیم.»

شرکت‌ها به Vals پول می‌دهند تا مدل‌هایشان را آزمایش کند، که ممکن است درک آن دشوار باشد. چرا یک شرکت باید پول بدهد تا بفهمد مدلش خوب کار نمی‌کند؟ اما داشتن یک اندازه‌گیری مؤثر به شرکت‌ها کمک می‌کند تا مشکلات را برطرف کرده و در طول زمان بهبود یابند. کریشنان مدل درآمدی خود را با این که یک دانش‌آموز به College Board برای شرکت در SAT پول می‌دهد مقایسه می‌کند.

در مقابل، این ارزیابی‌ها به عوامل کلیدی تصمیم‌گیری برای شرکت‌هایی که به دنبال خرید مدل‌های جدید هوش مصنوعی هستند تبدیل می‌شوند.

این استارت‌آپ اخیراً اعلام کرد که درآمد فعلی آن هشت برابر درآمد سال گذشته است. کارکنان آن نیز در حال رشد هستند. Vals که سال را با فقط هشت نفر شروع کرد، اکنون به تیمی ۲۵ نفره افزایش یافته است. کریشنان گفت که با رشد استارت‌آپ، برنامه این است که به دفتری به مراتب بزرگتر نقل مکان کند و همچنین ۱۰ تا ۱۵ نفر دیگر را استخدام کند. این شرکت همچنین اخیراً برنامه‌ای را راه‌اندازی کرده است که بر ارائه ارزیابی مدل به آژانس‌های فدرال متمرکز است.

کریشنان سیستم بنچمارک‌گیری شرکت خود را به عنوان آینده نحوه تفکر شرکت‌های هوش مصنوعی درباره رشد کسب‌وکار و ایجاد اعتماد عمومی می‌بیند.

او گفت: «شرکت‌های هوش مصنوعی در حال ورود به بورس هستند. SpaceX عمومی شد. Anthropic قرار است بعداً در سال جاری وارد بورس شود. گمان می‌کنم OpenAI به زودی عمومی شود. فکر می‌کنم با تبدیل شدن مدل‌های هوش مصنوعی به بخش اصلی اقتصاد و انتشار گسترده‌تر آن‌ها، انواع بنچمارک‌ها و ارزیابی‌هایی که ما انجام می‌دهیم، استفاده از آن‌ها را هدایت کرده و بخش مرکزی نحوه ارائه پرونده‌های عمومی این شرکت‌ها یا صحبت در مورد سرمایه‌گذاری‌های بالقوه‌ای که در هوش مصنوعی انجام خواهند داد، خواهد بود.»