چھوٹے ماڈلز کی طرف مصنوعی ذہانت: کیا موجودہ نظاموں کی دیو پر قابو پانا ممکن ہے؟

ہم جانتے ہیں کہ کے عظیم لسانی ماڈلمصنوعی ذہانت انہیں اپنے چیٹ بوٹس کی کارکردگی کو بہتر بنانے کے لیے بہت زیادہ ڈیٹا کی ضرورت ہوتی ہے۔ ہم یہ بھی جانتے ہیں کہ انہیں نام نہاد کے ذریعے سیکھنے کو بہتر بنانے کے لیے بھاری انسانی وسائل کی ضرورت ہوتی ہے۔ قابو پانے کی تعلیم. مؤخر الذکر ہوتا ہے، حقیقت میں، i کے ساتھ لوگوں سے رائے جو مختلف عنوانات پر جوابات کا جائزہ لیتے ہیں۔

یہ دونوں شرائط ہونی چاہئیں جوابات کی درستگی میں اضافہ ماڈلز اور غلطیوں اور فریب کو کم کرتے ہیں، جو بدقسمتی سے اب بھی اکثر ہوتے رہتے ہیں۔ اور زیادہ ڈیٹا کا مطلب ہے زیادہ درستگی۔ لہٰذا ایسے ماڈلز میں دیو قامت کی طرف فطری رجحان ہوتا ہے۔

دیوتا پرستی جو مطالبہ کرتی ہے a بہت زیادہ کمپیوٹنگ طاقت, اپ اسٹریم، سیکھنے کے مرحلے میں اور، نیچے کی طرف، لاکھوں صارفین کی خدمت کے لیے جو جوابات کے لیے اس کی طرف رجوع کرتے ہیں۔ اس سال مارچ میں، مثال کے طور پر، کے 200 ملین فعال صارفین تھے چیٹ جی پی ٹی. اس طرح کی کمپیوٹنگ طاقت حاصل کرنے سے آلات، سازوسامان، سافٹ ویئر اور توانائی کی دستیابی کا اندازہ لگایا جاتا ہے جو کہ حساب کی تاریخ میں بے مثال ہے۔

ان پیشگی شرائط کا مطلب یہ ہے کہ بڑے عام لسانی نظاموں کی تعمیر اور دیکھ بھال کے لیے ایسی سرمایہ کاری کی ضرورت ہوتی ہے جو صرف چند بڑی کمپنیاں ہی برداشت کر سکتی ہیں۔ یہ اندازہ لگایا گیا ہے کہ صرف 2004 کی پہلی سہ ماہی میں i ہائی ٹیک جنات (میٹا، مائیکروسافٹ، گوگل اور ایمیزون) نے خرچ کیا ہے۔ 32 ارب ڈالر AI کو سپورٹ کرنے کے لیے تکنیکی انفراسٹرکچر میں۔

اس لیے اس شعبے میں نئے کھلاڑیوں کے داخلے میں ایک زبردست رکاوٹ ہے جس کا تخمینہ 2031 تک ایک ٹریلین ڈالر تک پہنچ جائے گا۔

نئے ماڈلز کی تلاش

اس لیے یہ کوئی تعجب کی بات نہیں ہے کہ داخلے کی راہ میں اس رکاوٹ کو نمایاں طور پر کم کرنے کے لیے کام کیا جا رہا ہے۔ مثال کے طور پر، ڈیٹا ٹیوننگ کے مرحلے میں انسانی موجودگی کو مکمل طور پر ختم کرنے کے لیے متبادل سیکھنے کے ماڈل تیار کرنا۔ یہ بھی اندازہ ہے کہ ان نئے ماڈلز وہ تک ہو سکتے ہیں سات گنا کم توانائی OpenAi اور Google Gemini کے ذریعے استعمال ہونے والے۔ یہ آخری پہلو اہم ہے کیونکہ AI کی ترقی، اپنی موجودہ شکل میں، ماحول پر منفی اثر ڈالتی ہے۔

ان میں سے ایک ماڈل یورپی اسٹارٹ اپ کے تجویز کردہ حل میں پایا جاسکتا ہے۔ مجرم اور کلاڈ میں بھی، کے لسانی ماڈل بشری، ایک اسٹارٹ اپ جس کی ہدایت کاری Dario Amodei نے کی ہے۔ آلو کا بھرتہ شعلہ 3، جسے میٹا لانچ کرنے کی تیاری کر رہا ہے، اور چیٹ جی پی ٹی 5جلد ہی ریلیز ہونے والی ہے، ان جدید ماڈلز کا استعمال کریں۔ حالیہ دنوں میں، ایمیزون کے محققین نے عام ماڈل سے غلطیوں اور ناپسندیدہ ڈیٹا کو شروع سے دوبارہ تخلیق کیے بغیر اسے ختم کرنے کے لیے ایک طریقہ (ماڈل ڈسگرجمنٹ) پیش کیا ہے۔

تاہم، حقیقت میں، سب سے زیادہ خلل ڈالنے والی اختراع مصنوعی ذہانت کی پیشکش کے مسئلے کے لیے ایک مختلف قسم کا نقطہ نظر ہے۔ یہ اس سے ملتا جلتا نقطہ نظر ہے جو چھوٹے ماڈیولر ری ایکٹرز کے ساتھ جوہری توانائی کے میدان میں ابھر رہا ہے۔ایس ایم آرز).

ہم ایسے AI سسٹمز کا حوالہ دے رہے ہیں جو چھوٹے، خصوصی، اور بنانے اور برقرار رکھنے کے لیے کم مہنگے ہیں۔ یہ ماڈل ہو سکتے ہیں۔ آلات کی ایک وسیع رینج پر استعمال کیا جاتا ہے۔ جیسے اسمارٹ فونز، کیمرے اور سینسرز، اس طرح آپ کو ان صارفین تک پہنچنے کی اجازت ملتی ہے، جیسے چھوٹی کمپنیاں اور پیشہ ور افراد جو بڑے ماڈلز کے متحمل نہیں ہوسکتے ہیں۔ مزید برآں، چونکہ انہیں کام کرنے کے لیے کلاؤڈ یا انٹرنیٹ کنکشن کی ضرورت نہیں ہے، وہ رازداری، ڈیٹا کے تحفظ اور کاپی رائٹ کے اہم مسئلے کا پہلا حل پیش کرتے ہیں۔

اس ہفتے، مائیکروسافٹ e ایپل انہوں نے بالترتیب شروع کیا Phi-3 e اوپن ای ایل ایم, زبان کے ماڈلز کے دو خاندان جو کمپیوٹنگ کے زیادہ محدود وسائل کا استعمال کرتے ہیں ان ماڈلز سے جو ہم پہلے سے جانتے ہیں۔ اور اس سے بھی زیادہ دلچسپ بات یہ ہے کہ دونوں خاندانوں کا کوڈ پبلک ڈومین میں ہے۔

مائیکروسافٹ کا Phi-3 خاندان

انہوں نے کہا کہ "Phi سیریز میں ہم جو نقطہ نظر اختیار کر رہے ہیں وہ باقی انڈسٹری کی طرف سے مانگے جانے والے انداز سے مختلف ہے جو لگتا ہے کہ بنیادی طور پر مزید ڈیٹا شامل کرنے اور اس طرح ماڈل کو بڑا بنانے کے مقصد کے ساتھ میگنیفیکیشن پر توجہ مرکوز کرتا ہے۔" سیبسٹین بوبیک، مائیکروسافٹ میں مصنوعی ذہانت کی تحقیق کے نائب صدر، "Semafor" میگزین کی Katyanna Quach سے، جو کہ 2022 میں "نیویارک ٹائمز" کے سابق کالم نگار بین اسمتھ کے ذریعہ قائم کردہ ایک عالمی آن لائن اخبار ہے۔

مائیکروسافٹ کے لیے، چھوٹے ماڈلز میں سرمایہ کاری کرنا سمجھ میں آتا ہے کہ صارفین کو OpenAI کے ساتھ شراکت سے پیدا ہونے والے بڑے سسٹمز کے مقابلے زیادہ اختیارات پیش کیے جائیں۔ وہ لوگ جو اس حد میں ماڈل استعمال کرنے کے متحمل نہیں ہیں وہ چھوٹے متبادل جیسے کہ Phi-3 mini کا سہارا لے سکتے ہیں۔

مائیکروسافٹ نے استعمال کیا حقیقی ڈیٹا کا مرکب ویب سے اقتباسات e مصنوعی ڈیٹا Phi-3 فیملی سیٹوں کو تربیت دینے کے لیے خود AI نے تیار کیا ہے۔

" یہی وجہ ہے کہ Phi-3 بہت اچھا ہے۔ اس کے سائز کی وجہ سے - بوبیک نے کہا - اس کی وجہ یہ ہے کہ ہم نے ڈیٹا کو زیادہ احتیاط سے پروسیس کیا"۔ اس کا مطلب یہ ہے کہ ماڈل کی تربیت کے لیے استعمال ہونے والے متن کی جانچ پڑتال کی گئی ہے اور سیکھنے کے مواد کے معیار اور درستگی کو یقینی بنانے کے لیے ماخذ پر منتخب کیا گیا ہے۔

سیٹل کمپنی کے مطابق، Phi-3 کی کارکردگی ChatGPT 3.5 کی پیش کردہ جیسی ہے، جو Open AI کا مفت ورژن ہے۔

ایپل کا اوپن ای ایل ایم فیملی

اسی طرح کا فلسفہ اسکیلر خاندان کو آگاہ کرتا ہے۔ ایپل کا اوپن ای ایل ایم. اس کی خصوصیت یہ ہے کہ یہ کر سکتا ہے۔ آئی فون کے وسائل کے ساتھ کام کریں۔ اور کیپرٹینو کمپنی کے دیگر آلات پر کارکردگی اور سسٹم کی ضروریات کے درمیان توازن کی بدولت۔ یہ توازن مقامی طور پر OpenELMA کو چلانے کے لیے ضروری ہے، جس میں ڈیوائس پر ڈیٹا اور پروسیسنگ ہوتی ہے۔

یہاں تک کہ OpenELM کے معاملے میں بھی ڈویلپرز کا انتخاب گر گیا۔ استعمال شدہ متن اور ڈیٹا کا معیار ماڈل کو تربیت دینے کے لیے۔ ایپل کی ٹیم نے عوامی ڈیٹا سیٹس سے متن کو فلٹر کیا، لسانی ڈھانچے اور قدرتی زبان کے لغت کی پیچیدگی کو ماڈل میں محفوظ کرنے اور منتقل کرنے کی کوشش کی۔

اگرچہ ایپل نے ابھی تک اپنے آلات میں اوپن ای ایل ایم کو ضم نہیں کیا ہے، لیکن یہ خیال کیا جاتا ہے کہ اگلا iOS اپ ڈیٹ (18، جون کے اوائل میں گلوبل ڈویلپر کانفرنس میں متوقع) اس میں سری میں بہتری اور ایپس میں خلاصہ اور خودکار تکمیل خصوصیات شامل ہوں گی۔ یہ نئی پرفارمنس آئی فون 16 پر بہتر کارکردگی کا مظاہرہ کرے گی جو ان کاموں کے لیے نئی، زیادہ طاقتور اور بہترین M4 چپ سے لیس ہوگی۔

چھوٹے ماڈلز کا تناسب

تمام صارفین کو سیکڑوں دستاویزات یا سائنسی تحقیق کا تجزیہ کرنے کے قابل جدید ترین یا جدید ترین لینگویج ماڈل کی ضرورت نہیں ہے۔ کے لیے بہت سے مخصوص کام، چھوٹے ماڈل اچھی طرح سے کام کر سکتے ہیں۔ مؤثر طریقے سے، تیزی سے اور اقتصادی طور پر.

بینچ مارکنگ ٹیسٹوں میں، فائی منیChatGPT-3,8 کے 175 بلین کے مقابلے میں 3.5 بلین پیرامیٹرز پر مشتمل ہے، اس میں ایسی کارکردگی ہے جو بعد والے سے نمایاں طور پر مختلف نہیں ہے۔

Apple کے OpenELM ماڈلز اس سے بھی چھوٹے ہیں: وہ 270 ملین اور 3 بلین پیرامیٹرز کے درمیان ہیں۔ ایپل کے حل کے چھوٹے طول و عرض کو سمجھنے کے لیے، ذرا غور کریں کہ میٹا کا نیا لاما 3 ماڈل، جسے چھوٹے زمرے میں درجہ بندی کیا جا سکتا ہے، 8 بلین پیرامیٹرز پر مشتمل ہے۔

ایپل کے اوپن ای ایل ایم فیملی کا اوسط ورژن، جس میں صرف ایک بلین پیرامیٹرز ہیں، کم ڈیٹا کے ساتھ تربیت یافتہ ہونے کے باوجود نسبتاً سائز والے ماڈلز کو پیچھے چھوڑتے دکھائی دیتے ہیں۔

کھلے نظام کا انتخاب

مصنوعی ذہانت اس کا ابھی تک اسمارٹ فونز پر کوئی بڑا اثر نہیں پڑا ہے۔ اور ٹیکنالوجی کمپنیاں امکانات کو تلاش کرنے کے لیے تیزی سے آگے بڑھ رہی ہیں۔ یہ دیکھنے کا کوئی بہتر طریقہ نہیں ہے کہ کون سے نئے AI پروڈکٹس اور ایپس کو ڈویلپر کے تجربات کے لیے کھول کر بنایا جا سکتا ہے۔

یہی وجہ ہے کہ ایپل نے بھی، جو اپنی ٹیکنالوجی کے بارے میں بدنام زمانہ خفیہ تھا، جاری کیا ہے۔ سورس کوڈ اور تربیت کی ہدایات اس کے OpenELM سسٹم کے لیے۔

ایک مقالے میں، ایپل کے محققین نے وضاحت کی کہ LLMs کی تولیدی صلاحیت اور شفافیت مصنوعی ذہانت کو آگے بڑھانے اور اس کے ممکنہ تعصبات اور خطرات کی چھان بین کے لیے بہت ضروری ہے۔

کیا یہ چھوٹے ماڈل واقعی درست ہیں؟

اس مقام پر کوئی سوچتا ہے کہ کیا چھوٹے AI واقعی اچھا خیال ہے جو ایسا لگتا ہے۔ بدقسمتی سے i استعمال شدہ معیارات اور ٹیسٹ مصنوعی ذہانت کی کارکردگی کا جائزہ لینے کے لیے وہ ہمیشہ قابل اعتماد نہیں ہیں اور ان کا درست موازنہ کرنا مشکل ہے۔

یہ کے اہم نتائج میں سے ایک ہےتازہ ترین "AI انڈیکس" رپورٹ سٹینفورڈ یونیورسٹی سے "سیمافور" تحقیق کے سربراہ کے ایک بیان کی اطلاع دیتا ہے، نیسٹر مسلیج، جس نے کہا کہ کچھ معیارات اس بات کی عکاسی نہیں کرتے ہیں کہ لوگ حقیقت میں چیٹ بوٹس کو کس طرح استعمال کرتے ہیں۔ صنعت ریاضی کے مسائل کو حل کرنے میں ان کی کارکردگی کو جانچ رہی ہے۔

لیکن زیادہ تر صارفین اس بات کی زیادہ پرواہ نہیں کرتے کہ ریاضی کی مساوات کو کیسے حل کیا جائے اور وہ ایک ماڈل کو ترجیح دیں گے جو پہلے جگہ پر زیادہ درست ہو۔

ہے. ہے. ہے.

فونٹی:

• کٹیانا کواچ، مائیکروسافٹ، ایپل چھوٹے AI ماڈلز کے ساتھ بڑے ہونے کے خواہاں ہیں، "سیمافور"، 26 اپریل، 2024
• Kate O'Flaherty، نئے iOS 18 AI سیکیورٹی موو نے تمام آئی فون صارفین کے لیے گیم کو بدل دیا، "فوربس،" 29 اپریل 2024
• کیرن ویز اور کیڈ میٹز، مائیکروسافٹ نے چھوٹے AI سسٹمز میں ایک نیا دباؤ بنایا، "دی نیویارک ٹائمز،" 23 اپریل، 2024
• Katyanna Quach، 'Disgorgement': Amazon محققین خراب AI ڈیٹا سے چھٹکارا پانے کے طریقے تجویز کرتے ہیں، "Semafor،" 1 مئی 2024
• کیرن ویز، AI بنانے کی دوڑ میں، ٹیک نے ایک بڑے پلمبنگ اپ گریڈ کا منصوبہ بنایا، "دی نیویارک ٹائمز،" 27 اپریل 2024
• کیون روز، اے آئی کو پیمائش کا مسئلہ ہے، "نیو یارک ٹائمز،" اپریل 15، 2024
• مدھومیتا مرگیا اور کرسٹینا کرڈل، اوپن اے آئی اور میٹا نئے اے آئی ماڈلز تیار کر رہے ہیں جو 'استدلال' کے قابل ہیں، "دی فنانشل ٹائمز"، 9 اپریل 2024