OpenAI направи Decisions API достъпно за всички клиенти на 22 октомври. Това е услуга, която не пише текст, а избира един вариант от зададени и казва колко е сигурна в избора си – и го прави за около 100–180 милисекунди, вместо за една до три секунди.
Накратко
- Decisions API избира вариант от списък и връща оценка за увереност; OpenAI го пусна за всички клиенти на 22 октомври, след предварително представяне на 29 септември.
- Отговорът идва за около 100–180 ms, при 1–3 секунди преди това; целта е около 60 ms – достатъчно за решение на всеки кадър видео.
- Услугата се опира на Luna, пренастроен за скорост, и вече поддържа глас и изображения; основен конкурент е Jev на TypeSafe.
Какво всъщност прави „моделът за решения“
Обикновеният чатбот получава въпрос и пише отговор дума по дума. Моделът за решения върши по-тясна работа: получава снимка, съобщение или звуков откъс заедно със списък от възможности и връща едната от тях с оценка за увереност. Пример от този тип е дали входящ имейл е спам, поръчка или оплакване.
Точно такива малки решения се взимат хиляди пъти в минута в чатове за поддръжка, системи за мониторинг и гласови асистенти. Там секунда и половина забавяне личи, а цената на пълен езиков модел за всяко решение е излишна.
OpenAI не е обучавал отделен модел от нулата. Според TechCrunch екипът е взел Luna и го е преконфигурирал за по-бърз и по-евтин извод. Продуктовият ръководител на API-тата на компанията Никунж Ханда казва, че специално обучение може да дойде по-късно.
Колко е по-бързо и кой вече го ползва
Основното предимство е скоростта. Ханда посочва, че времето за отговор пада от една–три секунди до приблизително 100–180 милисекунди и че екипът иска да стигне около 60 – с такова забавяне моделът би могъл да се вика за всеки кадър от видео.
Сред първите тестери са Box, Datadog, Ramp и Speak. Техническият директор на Speak Андрю Хсу казва, че интервалът между две действия в приложението им е паднал от 1,4 секунди на 0,13. OpenAI е използвал същото API и за по-бърз отговор на собствения си гласов асистент Dots.
Публичната версия е получила и нови възможности: глас и изображения. Компанията казва още, че насочва изчислителните си ресурси географски, за да намали забавянето в различни региони.
| Показател | OpenAI Decisions API | Jev (TypeSafe) |
|---|---|---|
| Вход | текст, изображения, глас | текст и изображения (в последната версия 1.14) |
| Цена за 1 млн. входни токена | около 0,10 долара, без такса за изход (по данни от бета фазата) | около 0,042 долара |
| Позиция в индекса AIM System One | 8-о място | 7-о място |
Цените са по данни на Dealroom от публичната бета и не са потвърдени от нова официална таблица, така че проверете актуалния тарифен план преди да планирате разходи. Позициите в индекса идват от TechCrunch.
Jev и борбата за този нов пазар
Категорията „модели за решения“ беше създадена от стартъпа TypeSafe с продукта Jev. Последната му версия 1.14 добави поддръжка на изображения и „smart-if“ условия, а според TechCrunch Jev е най-често викан такъв модел в OpenRouter. В тестове, където моделите играят Pac-Man, също води.
OpenAI залага на мултимодалността. Ханда твърди, че Luna показва по-добра калибрация при класифициране на изображения и че клиентите искат по-голяма гъвкавост – включително изображения като резултат. По-горе в класациите остават и други играчи като D1 Ultra на Liquid и Elephant-1 на Base Lab.
На какво да внимавате
Скоростта не е гаранция за точност. OpenAI е на 14-о място в индекса на Artificial Analysis за модели за решения, а Jev е трети, затова за ваш продукт е разумно да сравните двата варианта върху собствени данни, а не само по класации.
За разработчици в България достъпът е същият като за всички клиенти на OpenAI, а таксите са в долари. Ако данните на клиентите ви минават през външно API, прегледайте и изискванията на GDPR още в началото на проекта.
Повече новини за инструменти и API-та ще намерите в рубриката AI инструменти. Подобен стремеж към по-малко чакане виждаме и при малките модели на Nvidia, които работят на вашия компютър.
