كازLLM دەگەن نە؟
KazLLM – بۇل ChatGPT سياقتى دايىن چات-باعدارلاما ەمەس. ول – ۇلكەن تىلدىك مودەل. ياعني كولەمدى ءماتىن دەرەكتەر نەگىزىندە وقىتىلعان جاساندى ينتەللەكت جۇيەسى. مۇنداي مودەلدەر ءماتىندى ءتۇسىنۋ, سۇراققا جاۋاپ قۇراستىرۋ, مازمۇنداۋ, اۋدارۋ, تالداۋ جاساۋ سياقتى مىندەتتەردى ورىنداي الادى. بىراق ول پايدالانۋشى تىكەلەي كىرىپ سويلەسەتىن جەكە سەرۆيس رەتىندە بولەك شىعارىلماعان.
ايتا كەتەيىك, KazLLM مەملەكەت باسشىسىنىڭ تاپسىرماسىمەن وتاندىق تىلدىك تەحنولوگيانى دامىتۋ جانە شەتەلدىك جاساندى ينتەللەكت پلاتفورمالارىنا تاۋەلدىلىكتى ازايتۋ ماقساتىندا جاسالعان. جوبانىڭ نەگىزگى ماقساتى – قازاق جانە ورىس تىلدەرىندەگى دەرەكتەرگە سۇيەنەتىن, مەملەكەتتىك جانە سالالىق تسيفرلىق جۇيەلەرگە ەنگىزىلەتىن ۇلتتىق ءتىل مودەلىن قالىپتاستىرۋ.
مينيستر مالىمدەگەندەي, بۇل مودەل قازىردىڭ وزىندە قولدانىلىپ جاتىر. مىسالى, eGov پورتالىنداعى جي-اسسيستەنت پايدالانۋشى سۇراقتارىنا جاۋاپتى وسى مودەلدىڭ نەگىزىندە قالىپتاستىرادى. ياعني ازاماتتار كەيبىر تسيفرلىق مەملەكەتتىك سەرۆيستەر ارقىلى KazLLM مۇمكىندىگىن جاناما تۇردە پايدالانىپ وتىر. مينيسترلىك ايتقان 40-تان استام اقپاراتتىق جۇيە – وسى سەكىلدى ىشكى ينتەگراتسيالار.
KazLLM شامامەن 150 ميللياردتان استام توكەن كولەمىندەگى دەرەكپەن وقىتىلعان. توكەن – مودەل ۇيرەنەتىن ءماتىن بىرلىكتەرى. بۇل جوبا ءۇشىن جامان كورسەتكىش ەمەس, بىراق الەمدىك دەڭگەيدەگى ءىرى تىلدىك مودەلدەرمەن سالىستىرعاندا كولەمى الدەقايدا از. سوندىقتان KazLLM قازاق ءتىلىنىڭ كۇردەلى كونتەكسىن, استارلى ماعىناسىن, ستيلدىك ەرەكشەلىگىن ءاردايىم ءدال تۇسىنە بەرمەيدى. جاۋاپتارىنىڭ ساپاسى تۇراقتى ەمەس, كەي جاعدايدا ءۇستىرت نەمەسە قاتە ناتيجە بەرۋى مۇمكىن.
ساراپشىلاردىڭ باعالاۋىنشا, تىلدىك مودەلدىڭ ساپاسى دەرەك كولەمىنە عانا ەمەس, دەرەكتىڭ ساپاسىنا, ارتۇرلىلىگىنە, ەسەپتەۋ قۋاتىنا جانە تۇراقتى تۇردە قايتا وقىتىلىپ وتىرۋىنا بايلانىستى. بۇل – ءبىر رەتتىك ەمەس, ۇزاق مەرزىمدى جەتىلدىرۋدى قاجەت ەتەتىن تەحنولوگيا.
KazLLM جوباسىنىڭ ستراتەگيالىق ماڭىزى – تەحنولوگيالىق دەربەستىككە ۇمتىلىستا. ۇلتتىق تىلدىك مودەل ىشكى تسيفرلىق پلاتفورمالارعا, مەملەكەتتىك جۇيەلەرگە جانە قازاق تىلىندەگى سەرۆيستەرگە شەتەلدىك جي قۇرالدارىنا تولىق تاۋەلدى بولماي جۇمىس ىستەۋگە مۇمكىندىك بەرەدى. بۇل اسىرەسە دەرەك قاۋىپسىزدىگى, تىلدىك بەيىمدەۋ جانە سالالىق شەشىمدەردى جەرگىلىكتى كونتەكسكە يكەمدەۋ تۇرعىسىنان اسا ماڭىزدى.
ازىرلەۋشىلەرى كىم؟
KazLLM ۇلتتىق ءتىل مودەلىن اقىلدى جۇيەلەر جانە جاساندى ينتەللەكت ينستيتۋتى (ISSAI) ازىرلەگەن. بۇل ورتالىق نازارباەۆ ۋنيۆەرسيتەتى بازاسىندا قۇرىلعان جانە ەلدەگى جەتەكشى جي-زەرتتەۋ الاڭىنىڭ ءبىرى سانالادى. جوبا دەرەكتەر قورىن جيناۋ, ءتىل كورپۋسىن قالىپتاستىرۋ, مودەل ارحيتەكتۋراسىن بەيىمدەۋ جانە وندىرىستىك دەڭگەيدە وقىتۋ سەكىلدى بىرنەشە كەزەڭدى قامتىعان.
جوبانى ىسكە اسىرۋعا كوپسالالى كوماندا تارتىلعان. قۇرامىندا داتا-سايەنتيستتەر, ماشينالىق وقىتۋ ينجەنەرلەرى, باعدارلاماشىلار, لينگۆيستەر جانە عىلىمي اسسيستەنتتەر بار جەتپىسكە جۋىق مامان جۇمىس ىستەگەن. تىلدىك مودەل ازىرلەۋدە لينگۆيستيكالىق ساراپتاما بولەك باعىت رەتىندە جۇرگىزىلگەن. بۇل قازاق ءتىلىنىڭ قۇرىلىمى, مورفولوگياسى مەن كونتەكستى ەرەكشەلىكتەرىن مودەلگە ەنگىزۋ ءۇشىن قاجەت بولعان.
مودەلدى وقىتۋ جوعارى ءونىمدى ەسەپتەۋ ينفراقۇرىلىمىندا جۇرگىزىلگەن. كوپتۇيىندى بۇلتتى كونفيگۋراتسيا قولدانىلىپ, سەگىز NVIDIA DGX H100 ەسەپتەۋ جۇيەسى پايدالانىلعان. بۇل – وندىرىستىك دەڭگەيدەگى تىلدىك مودەلدەردى ۇيرەتۋگە ارنالعان قۋاتتى تەحنيكالىق بازا.
KazLLM باستاپقى كەزەڭدە مەملەكەتتىك سەكتور مەن كوممەرتسيالىق ەمەس زەرتتەۋلەر ءۇشىن قولجەتىمدى ەتىپ شىعارىلعان. ياعني ول ەڭ الدىمەن مەملەكەتتىك تسيفرلىق سەرۆيستەرگە, زەرتتەۋ جوبالارىنا جانە قولدانبالى جي شەشىمدەرىنە تەحنولوگيالىق نەگىز رەتىندە باعىتتالعان.
جوبا بارىسىندا قازاق تىلىندەگى ساپالى ءارى بەلگىلەنگەن دەرەكتەر قورىنىڭ تاپشىلىعى, تىلگە بەيىمدەلگەن حالىقارالىق تەستىلەردىڭ بولماۋى, ءىرى ەسەپتەۋ تۇيىندەرىنىڭ شەكتەۋلىگى سەكىلدى كەدەرگىلەر دە بولعان. سوعان قاراماستان ازىرلەۋشىلەر اشىق كوزدەردەن دەرەك الۋ, OCR ارقىلى ءماتىن تانۋ, سۇراق-جاۋاپ فورماتىنداعى داتاسەتتەر قۇراستىرۋ, سينتەتيكالىق دەرەك گەنەراتسيالاۋ سەكىلدى دەرەك جيناۋدىڭ ارنايى ستراتەگياسىن قولدانعان ەكەن.
سالىستىرمالى تەستىلەردە KazLLM كەي كورسەتكىشتەر بويىنشا Meta Llama 3.1 سەكىلدى ءىرى مودەلدەرمەن دەڭگەيلەس ناتيجەگە جاقىنداعان, كەي باعىتتا ءسال تومەن ناتيجە كورسەتكەن. بۇل – رەسۋرسى شەكتەۋلى ورتادا جاسالعان مودەل ءۇشىن باسەكەگە قابىلەتتى باستاپقى دەڭگەي بار ەكەنىن بىلدىرەدى. الايدا ءالى دە جەتىلدىرۋدى قاجەت ەتەدى.
سونىمەن قاتار ISSAI KazLLM ءتىل مودەلىنىڭ نەگىزىندە 5 ءتۇرلى وتاندىق جي باعدارلامالارىن جاساپ شىعارعان. ءبىرىنشىسى – «Oylan 2.5». بۇل جۇيە كەز كەلگەن سۇراعىڭىزعا جاۋاپ بەرە الادى. ءتىپتى اۋديو حابارلامالاردى قابىلداپ, وڭدەۋ فۋنكتسياسى بار. بۇدان بولەك, «ISSAI» ۇسىنعان «MangiSoz 2.0» جۇيەسى سويلەۋدى تانۋ, دىبىستاۋ, اۋدارۋ قىزمەتىن اتقارادى. ال «TilSync» جۇيەسى ىلەسپە اۋدارما جاسايدى. جۇيە ءارتۇرلى ۆيدەوكونفەرەنتسيالاردا ءتۇرلى تىلدەر اراسىندا تىكەلەي اۋدارما جاساپ, اقپارات الماسۋدى جەڭىلدەتەدى. تاعى ءبىر تىڭ شەشىم – «Beynele» جاساندى ينتەللەكتى. ول تەك قازاقى ناقىشتا سۋرەت سالادى. وسى جۇيەلەردىڭ نەگىزى – «Mangitas 02» اتتى وتاندىق ينفەرەنس سەرۆەرى. بۇل – شەتەلدىك بۇلتتىق جۇيەلەردەن تاۋەلسىز, قاۋىپسىز, جەرگىلىكتى مالىمەتتەرمەن جۇمىس ىستەيتىن جي سەرۆەر.
