جب OpenAI، Anthropic اور Google کے تین بڑے AI اداروں کے فلیگ شپ ماڈلز ایک ہی میدان میں آمنے سامنے ہوں، تو کون روبوٹ کو بہتر کنٹرول کرتا ہے؟
20 اکتوبر کو، میفینگ ٹیکنالوجی، Hugging Face، NVIDIA، سنگھوا یونیورسٹی سمیت دنیا بھر کی تقریباً 20 جامعات، کمپنیوں اور تحقیقی اداروں کی مشترکہ شرکت سے قائم کردہ ایمبوڈیڈ ایرینا RoboColiseum نے اس راؤنڈ کے جائزے کے نتائج کا اعلان کیا: Claude Opus 5.5 چار فلیگ شپ ماڈلز میں مجموعی طور پر پہلے نمبر پر رہا، GPT-6 Astra اس کے فوراً بعد آیا۔
ذیلی شعبوں کے لحاظ سے، چار فلیگ شپ ماڈلز میں GPT-6 Astra ہدایات کی پیروی اور مجموعی طور پر خلل کے موافقت میں آگے رہا، جس میں ہدایات کی پیروی کا اسکور 99.35 تک پہنچا؛ Opus نے مقامی فہم اور عمومی آپریشن میں بہتر کارکردگی دکھائی اور سب سے کم کل راؤنڈ جائزے کے ٹوکن استعمال کرتے ہوئے فلیگ شپ گروپ میں مجموعی طور پر پہلی پوزیشن حاصل کی۔ تصویر کے معیار میں خلل کے ٹیسٹ میں، GPT-6.1 Sol دیگر تین ماڈلز سے واضح طور پر پیچھے رہا، جو بصری معلومات میں تبدیلی کے وقت مختلف ماڈلز کے استحکام میں فرق کو ظاہر کرتا ہے۔
تاہم اس راؤنڈ کی مجموعی درجہ بندی میں پہلے دو مقامات اب بھی ایمبوڈیڈ پالیسی ماڈلز کے پاس ہیں، خاص طور پر عمومی آپریشن کے پہلو میں ان کی برتری برقرار ہے۔
یہ مشترکہ مقابلہ صنعت کو عمومی بڑے ماڈلز اور ایمبوڈیڈ پالیسی ماڈلز کی صلاحیتوں کے فوائد اور کمزوریوں کو واضح طور پر سمجھنے کے لیے ایک براہ راست حوالہ فراہم کرتا ہے۔
RoboColiseum ہدایات کی پیروی، مقامی فہم، خلل کے موافقت اور عمومی آپریشن کے گرد چار قسم کی صلاحیت کے ذیلی درجہ بندیوں، 78 اعلیٰ معیار کے سمولیشن جائزے کے ٹاسک پیش کرتا ہے، جو نہ صرف ماڈلز کی ذیلی کارکردگی دکھاتا ہے بلکہ ٹاسک کی تکمیل کے مراحل اور ناکامی کے مقامات بھی ریکارڈ کرتا ہے، تاکہ ڈویلپرز ماڈلز کی صلاحیت کی کمزوریوں کی تیزی سے نشاندہی کر سکیں۔
بطور مشترکہ بانی، میفینگ RoboColiseum کو اعلیٰ معیار کے آبجیکٹ اثاثے اور سمولیشن مناظر فراہم کرتا ہے، پیچیدہ روبوٹ آپریشن ٹاسکس کے جائزے کے ماحول کی تعمیر کی حمایت کرتا ہے، اور مختلف آبجیکٹ تعاملات، مقامی ترتیب اور ماحولیاتی حالات میں ماڈل کی صلاحیت کی جانچ کے لیے بنیادی وسائل فراہم کرتا ہے۔
سمولیشن میں ماڈلز کے نتائج حقیقی آپریشن کی کارکردگی کی عکاسی کر سکتے ہیں یا نہیں، یہ بھی جائزے کی کلید ہے۔ پلیٹ فارم کے شائع کردہ عملی ٹیسٹ نتائج کے مطابق، RoboColiseum سمولیشن جائزے اور حقیقی مشین تعیناتی کے درمیان تعلق 89.5% تک پہنچتا ہے، ایک ہی ماڈل کے سمولیشن اور حقیقی دنیا میں جائزے کا فرق 10% سے کم ہے، جو ڈویلپرز کو حقیقی مشین ٹیسٹ سے قبل ماڈل کی چھانٹی اور مسائل کی نشاندہی کے لیے حوالہ فراہم کر سکتا ہے۔
میفینگ ٹیکنالوجی "مکمل، بہترین اور تیز" ڈیٹا فراہمی کا نظام پیش کرتی ہے، جو حقیقی مشین، سمولیشن اور بغیر باڈی کے تین بڑے ڈیٹا نمونوں کا احاطہ کرتا ہے۔ سمولیشن کے حوالے سے، میفینگ آبجیکٹ اثاثے اور ماحولیاتی اثاثے دو قسم کے وسائل فراہم کرتا ہے، جو مختلف روزمرہ اشیاء اور اندرونی مناظر کا احاطہ کرتے ہیں، اور منظر کی تعمیر نو، ماہر ٹریجیکٹری ڈیٹا حصول اور جائزے کے نتائج کی بصری نمائش جیسی صلاحیتیں بھی فراہم کرتا ہے، تاکہ ماڈل ٹیمیں متنوع تربیت اور جائزہ لے سکیں۔
Coliseum اصل میں قدیم روم کے گول ایمفی تھیٹر کو کہا جاتا تھا، RoboColiseum اس تصور کو بنیاد بنا کر کثیر جہتی نظام جائزے کا ڈھانچہ تعمیر کرتا ہے، حقیقی مشین کی کارکردگی سے انتہائی ہم آہنگ سمولیشن جائزے کے ذریعے ایمبوڈیڈ انٹیلیجنٹ ماڈلز کے لیے ایک عوامی، غیر جانبدار اور قابلِ تولید "ایریانا" اور "تربیتی میدان" بناتا ہے۔ کوئی بھی یونیورسٹی، تحقیقی ادارہ یا کارپوریٹ ڈویلپر اپنا ماڈل جمع کرا سکتا ہے اور معیاری "امتحان" سے گزر سکتا ہے۔ اگست میں لانچ ہونے کے بعد سے، ملکی و غیر ملکی 100 سے زائد ٹیموں نے پلیٹ فارم پر ماڈل کی تربیت اور جائزہ لیا ہے۔
RoboColiseum اب عالمی ڈویلپرز کے لیے کھلا ہے، ماڈل ٹیموں کو جائزے میں شرکت کی دعوت ہے۔
