Пешниҳод ба таҳиягарон беҳтарин модели вазифаи дар пеш истода ҳамеша ҳадафи мо буд. Аввали соли ҷорӣ мо ин корро тавассути оғози интихоби модели худкор осон кардем, ки вазифаи шуморо баррасӣ мекунад ва онро ба модели беҳтарини ин вазифа мувофиқ мекунад.
Имрӯз, мо лоиҳаи HydraFusion-ро муаррифӣ мекунем, ки пешнамоиши тадқиқотӣ мебошад, ки иктишофии сарҳадро тавассути оркестри вақти корӣ таъмин мекунад. Он нақшаи пурраи иҷроро эҷод мекунад, ки аз моделҳои провайдерҳои сершумор барои тарҳрезӣ, интиқод ва бознигарӣ интихоб мекунад ё ба моделҳои пурқувваттар барои анҷом додани вазифаи худ интихоб мекунад.
HydraFusion дар стратегияи умумии мо барои расонидани масири семантикии автоматӣ байни моделҳои маҳаллӣ, абрӣ ва мураккаб нақши калидӣ дорад. Барои таҳиягарон, ин мураккабӣ дар паси парда мемонад: шумо HydraFusion-ро мисли ҳама гуна модели дигар интихоб мекунед ва он ҷараёни кориро интихоб мекунад, ки натиҷа, арзиш ва таъхирро барои ҳар як вазифа мувозинат мекунад.
HydraFusion интихоби ҷараёни корро ҳамчун мушкилоти оптимизатсия баррасӣ мекунад. Он сигналҳои қобилиятро барои мулоҳиза, тавлиди код, ислоҳи хатогиҳо ва истифодаи асбобҳо барои интихоби намунаи муассири иҷро барои қонеъ кардани сатри сифат истифода мебарад.
Барои ҳар як дархост, HydraFusion айни замон яке аз се шакли иҷроро интихоб мекунад:
- Муҷаррад. Як модели интихобшуда бевосита вазифаро ҳал мекунад.
- Каскад. Модели муассир лоиҳаи ҳалли масъаларо таҳия мекунад ва дарвозаи сифат тасмим мегирад, ки онро қабул кунад ё ба модели қавитар гузаред.
- Танқид. Як модел натиҷаро тарҳрезӣ мекунад, мунаққиди мустақили танҳо барои хондан аз як оилаи модели дигар онро баррасӣ мекунад (дар паи ҳамон намунаи барраси бо Duck Rubber) ва модели таҳиякунанда як маротиба аз нав дида мебарояд.
Ҳар як намуна ба муомилоти гуногуни сифат ба арзиш муроҷиат мекунад. Муҷаррад суръат ва самаранокиро нигоҳ медорад, вақте ки як модел вазифаро мустақиман ҳал карда метавонад. Каскад ба модели муассир кӯшиши аввалин медиҳад ва ҳангоми нигоҳ доштани роҳ ба хулосаи қавитар, вақте ки номзад дарвозаи қабулро тоза намекунад. Танқид Дурнамои мустақилро барои вазифаҳое илова мекунад, ки баррасии онҳо назар ба кӯшиши дигари бемузд муфидтар аст.
Дар арзёбии офлайнӣ дар се меъёри рамзгузории агентӣ, HydraFusion пайваста сифати сатҳи сарҳадро бо сарфаи назарраси хароҷоти тахминӣ нишон дод. Дар TerminalBench 2.1, он сифати супориши тасдиқшударо 4,9 банди фоизӣ бо арзиши тахминии 67% камтар нисбат ба Клод Опус 5 беҳтар кард.
Биёед ба равиш, натиҷаҳо ва нишондиҳандаҳо ғарқ шавем.
Оркестри бисёр модели мутобиқшаванда
Таҳиягарон аллакай моделҳоро ба таври дастӣ ҳамоҳанг мекунанд: интихоби яке барои кор, хоҳиш кардани дигараш барои баррасии кор ё интиқол додани мушкилоти душвор ба модели қобилиятнок. HydraFusion ин раванди шиносро ба вақти корӣ меорад. Шумо як бор HydraFusion-ро интихоб мекунед ва дар ҳоле ки он моделҳо ва ҷараёни кори паси пардаҳоро идора мекунад, ба вазифаи худ диққат медиҳед.
Калиди интихобӣ аст. Баъзе вазифаҳои рамзгузориро мустақиман ҳал кардан мумкин аст, дар ҳоле ки дигарон аз баррасӣ, таҷдиди назар ё афзоиш манфиат мегиранд. HydraFusion ҳар як дархостро арзёбӣ мекунад ва ҷараёни кории камтаринро барои қонеъ кардани ниёзҳои он интихоб мекунад, бо истифода аз зангҳои модели иловагӣ танҳо вақте ки онҳо эҳтимолан натиҷаро беҳтар мекунанд. Ин равиши мутобиқшавӣ сифат, арзиш ва таъхирро дар байни моделҳо мувозинат мекунад.
Вақте ки сарҳади модел пеш меравад, HydraFusion низ пеш меравад. Вақте ки моделҳои нав дар GitHub Copilot дастрас мешаванд, мо метавонем онҳоро баҳо диҳем ва ба ҳавзи намунавии он дохил кунем ва ҷиҳатҳои тавонои онҳоро ба вазифаҳое, ки ба онҳо мувофиқтар аст, расонем.
Сохтани HydraFusion
Табдил додани оркестри бисёрмоделҳои мутобиқшавӣ ба як таҷрибаи боэътимоди рамзгузорӣ назорати дақиқи иҷро, баррасӣ, арзиш ва ҳолати репозиториро талаб мекунад. HydraFusion дар атрофи панҷ принсипи фаъолият сохта шудааст:
- Баҳисобгирии мукаммал. Хароҷоти умумӣ ва истифода дар ҳар як марҳилаи ҷараёни корӣ, аз ҷумла таҳия, танқид, таҷдиди назар, афзоиш, такрор ва бозгашт.
- Иҷрои маҳдуд. Барои нигоҳ доштани иҷро ва хароҷот дар ҳудуди муайяншуда, ба ҳар як пои таваққуф ва рафтори бекоркуниро диҳед.
- Баррасии ҷудогона. Қадамҳои баррасиро дар контекстҳои ҷудогона ва бе асбоб иҷро кунед, дар ҳоле ки қадамҳои ҳалкунанда фазои кории муштарак ва ҳалқаи муқаррарии агенти аз иҷозат огоҳшударо истифода мебаранд. Ин ба моделҳо имкон медиҳад, ки корро мустақилона бидуни тағир додани анбор арзёбӣ кунанд.
- Аризаи бехатар. Ҳангоми бекор кардани ҷараёни кор ё санҷиши нопурра ягон ямоқи истифода набаред ва аз дастрасии репозиторий тағиротҳои нопурра пешгирӣ кунед.
- Масири тасдиқшуда. Пеш аз оғози иҷро таърифҳои ҷараёни кор, пайвандҳои модел, рафтори бозгашт ва мавҷудияти моделро тафтиш кунед.
Якҷоя, ин принсипҳо оркестри бисёр моделиро барои кори сатҳи репозиторий амалӣ мегардонанд. Дар дохили вақти корӣ нақш, натиҷа, арзиш, таъхир ва ташхиси ҳар як пойро сабт мекунад, то ҷараёни кор пас аз иҷро фаҳмида шавад. Аз берун, таҳиякунанда як посухи мувофиқ ва як маҷмӯи тағиротро дарбар мегирад.
Натиҷаҳои муқоисавӣ
Сиёсати собит HydraFusion дар се меъёри рамзгузории агентӣ – TerminalBench 2.1, DeepSWE ва CheckpointBench, меъёри дохилии мо дар асоси сессияҳои воқеии GitHub Copilot – бо истифода аз Claude Opus 5 ва GPT-5.6 Sol ҳамчун асосҳои муқоиса арзёбӣ карда шуд. Ҳар як сиёсат ҳамон як вазифа, асбобҳо, маҳдудиятҳои иҷро, пиндоштҳои нархгузорӣ, шароити баҳогузорӣ ва коркарди натиҷаҳои гумшударо истифода мебурд. Арзёбӣ сифати вазифаҳои тасдиқшударо чен кард, ки ҳиссаи вазифаҳое, ки ҷавоби дуруст дода шудаанд ва арзиши пурраи тахминии ҷараёни кор мебошад. Баҳисобгирии хароҷот ҳар як марҳилаи истифодашударо дар бар мегирад, аз қабили таҳия, танқид, таҷдиди назар, афзоиш, такрор ва бозгашт. Натиҷаҳои дар поён овардашуда беҳтарин конфигуратсияи танзимшудаи HydraFusion-ро нишон медиҳанд.
| Нишондиҳандаҳо | Арзиш нисбат ба Opus 5 | Сифат бар зидди Opus 5 |
|---|---|---|
| TerminalBench 2.1 | 67% камтар | +4,9 балл |
| DeepSWE | 36% камтар | -1,5 балл |
| CheckpointBench | 65% камтар | -0,1 балл |
Ин натиҷаҳои офлайнии назоратшаванда ба таҷдиди меъёрҳои арзёбӣшуда, конфигуратсияҳои ҷараёни корӣ, ҳавзи модел ва пиндоштҳои нархгузорӣ хосанд, ки ҳамаи моделҳо дар як сатҳи мулоҳизаҳои миёна арзёбӣ мешаванд. Тавассути ин пешнамоиши тадқиқот, мо тасдиқ хоҳем кард, ки чӣ гуна ин натиҷаҳо ба сарбории воқеии таҳиягарон табдил меёбанд ва бозёфтҳоро барои беҳтарсозии минбаъдаи HydraFusion барои сифати истеҳсолот, таъхир, эътимоднокӣ, самаранокии кэш, арзиш ва бехатарӣ истифода мебаранд.
TerminalBench 2.1
TerminalBench 2.1 агентҳои рамзгузориро дар вазифаҳои мураккаб ва бисёрқадам дар муҳити терминал арзёбӣ мекунад.
Тасвири 2 HydraFusion ва Opus 5-ро аз рӯи сифати тасдиқшудаи вазифа ва арзиши тахминии ҷараёни кор муқоиса мекунад.
DeepSWE
DeepSWE вазифаҳои мураккаби муҳандисии нармафзорро дар сатҳи репозиторий арзёбӣ мекунад, ки паймоиши пойгоҳҳои коди калон, фаҳмидани вобастагии байнифайлҳо ва эҷоди ислоҳи яктарафаро талаб мекунанд. Дар ин нишондод, HydraFusion дар доираи 1,5 банди дарсади Opus 5 ҷойгир шуда, хароҷотро 36% кам мекунад ва ин муомилоти ҷолиби сифат ва хароҷотро барои вазифаҳои мураккаби муҳандисии ҷаҳонӣ нишон медиҳад.
CheckpointBench
CheckpointBench як меъёри дохилии бисёрқабата мебошад, ки аз сессияҳои рамзгузории агентии GitHub Copilot таҳия шудааст. Ҳар як сӯҳбат ба як анбори мушаххаси ҷамъиятӣ ва ӯҳдадории тағирнопазир лангар карда мешавад, ки ҳар як ҷаласаро такрор кардан мумкин аст. Нишондиҳанда аз рӯи забон, намуди вазифа, душворӣ мувозинат карда, барои сифат санҷида мешавад, ки дар натиҷа маҷмӯи арзёбии воқеӣ ба вуҷуд меояд, ки сессияҳои агентии истеҳсолиро зич инъикос мекунад. Дар ин нишондод, HydraFusion дар ҳудуди 0,1 дарсади Opus 5 бо арзиши 65% арзонтар меояд.
Санҷиши барвақти дохилӣ ин натиҷаро тасдиқ кард.
То ҳол, қобилияти мулоҳиза ва ҳалли вазифа [of HydraFusion] дар Opus ё беҳтар аст.
Муҳандиси асосии нармафзор дар Microsoft
HydraFusion ба кӯҳнавардӣ
Сиёсати масирсозии HydraFusion аз он иборат буд, ки чӣ гуна таҳиягарон GitHub Copilot-ро дар вазифаҳои рамзгузории воқеӣ истифода мебаранд. Барои такроршаванда будани ин ҷараёнҳои корӣ, мо CheckpointBench-ро аз траекторияҳои воқеии рамзгузории сессияи Copilot интихоб кардем. Мо HydraFusion-ро дар саросари CheckpointBench, DeepSWE ва TerminalBench 2.1 такроран такмил додем ва на барои ягон нишондиҳандаи ягона дар маҷмӯи арзёбӣ оптимизатсия кардем.
Холҳои барои ҳар як қобилият HydraFusion барои муқоисаи сиёсатҳои масири номзадҳо заминаи устувор фароҳам овард. Ба ҷои танзими дастӣ, мо ҷустуҷӯи чӯбро барои сохтани сиёсати оптималии қарор истифода кардем. Ҳар як номзад аз рӯи сифат, арзиш ва шеваҳои нокомӣ дар асоси асоси яхкардашуда чен карда шуд, аз ин рӯ беҳбудиҳо дар заминаи устувор арзёбӣ шуданд.
TerminalBench 2.1 пайдарпаии мукаммалтарини давишҳоро таъмин мекунад, ки онро равшантарин намуди ин такмилдиҳии такрорӣ месозад. Пешравӣ хаттӣ набуд. Дар байни 11 август ва 25 август, ду нокомии амалиётӣ дар дастгоҳи арзёбӣ довталабони беэътиборро ба вуҷуд овард. Ин нокомиҳо аз тамоюли кор хориҷ карда шуданд, ислоҳ карда шуданд ва пас аз он дар конфигуратсияҳои HydraFusion дастовардҳои давомдор дода шуданд. То 25 август, HydraFusion ба пурқувваттарин нуқтаҳои амалиётии худ дар силсилаи сабтшуда расид.
Ин сабти рушд нишон медиҳад, ки чӣ гуна сиёсатҳо аз таҷрибаҳои такрорӣ беҳтар шудаанд. TerminalBench 2.1 яке аз якчанд меъёрҳое буд, ки ҳангоми таҳия истифода мешуданд. Сатҳи нисбии он тасдиқи васеътарро муҳим мекунад, аз ин рӯ баҳодиҳии се-бенчмаркӣ инчунин вазифаҳои дар сатҳи репозиторий бештар серталаби DeepSWE-ро дар бар мегирад. Пешнамоиши тадқиқот ин ҳалқаи омӯзишро ба сарбории воқеии таҳиягарон васеъ мекунад.
Пешнамоиши тадқиқотро санҷед
Барои ин пешнамоиш, навбати аввал, вазифаҳои рамзгузории якдафъаина беҳтарин ҷой барои оғоз кардан мебошанд. Мо ба иҷрои қавии бисёрҷанба бо ҷаласаҳои тӯлонӣ ва такроршаванда дар оянда тамаркуз хоҳем кард.
Ин пешнамоиш барои фаҳмидани он, ки кадом вазифаҳо аз ҷараёнҳои кории мураккаб манфиат мегиранд ва чӣ гуна оркестр ба таъхир ва арзиш дар амал таъсир мерасонад, тарҳрезӣ шудааст. Барои таҷрибаи беҳтарини имрӯза, аз вазифаҳои рамзгузории ҷиддие, ки хуб тарҳрезӣ шудааст, оғоз кунед, ки шумо метавонед ба Copilot дар ҳолати автопилот дар як сатр супоред. Он чизеро, ки ёфтед, мубодила кунед, аз ҷумла дар куҷо он бартарӣ дорад, дар куҷо кӯтоҳ аст ва он чизеро, ки шумо дар оянда дидан мехоҳед, мубодила кунед. /feedback дар Copilot CLI ё дар муҳокимаи ҷомеаи GitHub.
HydraFusion як кӯшиши фаъоли тадқиқотӣ боқӣ мемонад. Натиҷаҳо, моделҳо, ҷараёнҳои корӣ, мавҷудият, номҳо ва рафтори маҳсулот метавонанд ҳангоми фаҳмидани мо аз пешнамоиш тағйир диҳанд. Мо боварӣ дорем, ки фоидаи навбатии воқеии агентҳои рамзгузорӣ аз омезиши иктишофии сарҳадӣ бо оркестри вақти корӣ хоҳад буд. HydraFusion аввалин шарти мо ба ин идея аст: гузаштан аз интихоби модели беҳтарин ба динамикӣ сохтани роҳи беҳтарини ҳалли ҳар як вазифа.
Ташаккур
Ташаккури зиёд ба муҳаққиқон, муҳандисон, менеҷерони маҳсулот ва тарроҳон дар саросари GitHub ва Microsoft, ки маълумоти омӯзишро таҳия намуда, лӯлаи таълим, люксҳои арзёбӣ, таҷрибаи муштариён ва стеки хидматрасониро сохтаанд. Мо махсусан аз дастаи GitHub Copilot CLI, Copilot API ва VS Code барои бартараф кардани мушкилоти сершумор барои расонидани ин пешнамоиши тадқиқот ба мизоҷони худ миннатдорем.
Бо даста вохӯред
Аашна Гарг, олими асосии амалӣ, Code AI
Шенгю Фу, шарики менеҷери илмҳои амалӣ, Кодекси AI
Карлос Кастро, меъмори шарики GitHub Copilot
Сиддхарт Сингха Рой, олими тадқиқотӣ II, Кодекси AI
Энди Салерно, муҳандиси асосии нармафзор, Copilot GitHub
Муаллиф аз ҷониби
Leave a Reply