І наскільки гарно цей сервіс розпізнає фото та відео
223перегляди Євгенія Підгайна, 2 жовтня 2024, 10:15 Поділитися 
Фото: depositphotos.com
1 жовтня українцям почали приходити листи від Gemini – в SMS-повідомлення на телефоні. «Привіт! Це Gemini у Google Повідомленнях. У чаті зі мною можна створювати повідомлення, обговорювати ідеї, планувати події чи просто весело спілкуватися», – йдеться у сповіщенні. Mind протестував, як працює цей ШІ чат-бот і чим його функціонал відрізняється від окремого застосунку Gemini. У світі цей застосунок наразі завантажено лише понад 10 млн разів. Його головний конкурент – ChatGPT від OpenAI, що стартував раніше, – має вже більш як 100 млн скачувань.
Які помилки в ШІ-застосунку виправив Google? Для України Google запустив безплатний застосунок Gemini та чат-бот у повідомленнях ще два місяці тому. І начебто з підтримкою української мови. Але стрімкого зльоту не відбулося, від користувачів посипалося багато скарг на нерозуміння української та спілкування російською. Їх почули.
Віднині перше, що питає застосунок Gemini після завантаження, – чи знає користувач українську мову. І далі видає тексти на доволі гарному рівні. Чат-бот таких питань не ставить, а відразу – у листі-запрошенні – починає спілкування державною.
Тож тепер – після заповнення прогалин – Google почав більш активно пушити чат-бот, надсилаючи повідомлення потенційним користувачам.
Що вміє Gemini? Сапорт Google розповідає, що користувачі можуть:
- отримувати допомогу з написанням текстів, пошуком нових ідей, навчанням тощо;
- швидко знаходити інформацію в Gmail або на Google Диску й переглядати її короткий виклад;
- миттєво створювати зображення;
- планувати свій час завдяки картам Google і сервісу Google Авіаквитки.
- знаходити відповіді на будь-які запитання за допомогою тексту, голосу, фотографій і камери.
Функції пунктів 2–4 для України ще не активовані. Втім, за повідомленнями пресслужби Google в Україні, вони мають з’явитися найближчим часом. Також функціонал чат-бота трохи обрізаний у порівнянні із застосунком: наразі немає голосового вводу тексту, він не може по запиту надати потрібний лінк тощо. У чому ще різниця? Це Mind протестував, надсилаючи однакові завдання в чат-бот і застосунок.
Як Gemini пише тексти? Mind попросив написати промотекст для соцмереж про дрон-ракету «Паляниця».
Застосунок спочатку видав неочікувану відповідь:
Після уточнення, чи вміє він взагалі писати тексти та прохання це зробити, – виправився і видав ось таки величезний твір, щоправда дуже загальний і без жодної технічної характеристики, хоча деякі з них є у відкритому доступі.
Дрон-ракета «Паляниця»: нова зброя української армії
«Паляниця» – це інноваційна українська розробка, яка поєднує в собі характеристики безпілотного літального апарата та ракети. Цей високошвидкісний дрон призначений для ураження важливих військових об’єктів противника, зокрема аеродромів.
Ключові особливості «Паляниці»:
* Швидкість: дрон здатний розвивати значно більшу швидкість порівняно з традиційними дронами, що ускладнює його перехоплення системами протиповітряної оборони.
* Дальність польоту: завдяки своїм характеристикам, «Паляниця» може вражати цілі на значній відстані, що робить його ефективним інструментом для ведення бойових дій.
* Точність: дрон оснащений сучасними системами наведення, що забезпечують високу точність ураження цілей.
* Бойова частина: «Паляниця» обладнана потужною бойовою частиною, здатною знищувати бетонні конструкції, що робить його ефективним для ураження злітно-посадкових смуг аеродромів.
Переваги «Паляниці»:
* Несподіванність: висока швидкість дрона дозволяє завдавати несподіваних ударів по противнику.
* Гнучкість: «Паляниця» може використовуватися для виконання різних завдань, від розвідки до ураження цілей.
* Відносна дешевизна: порівняно з іншими видами високоточної зброї, «Паляниця» є більш економічно ефективною.
Значення «Паляниці» для України:
Розробка та застосування «Паляниці» є важливим кроком для зміцнення оборонних спроможностей України. Ця зброя дозволяє ефективно протистояти сучасним викликам і захищати свою територію. «Паляниця» – це яскравий приклад інноваційності та креативності українських розробників, які створюють сучасну зброю для захисту своєї країни.
Примітки:
* Інформація про «Паляницю» є обмеженою, оскільки це відносно нова розробка.
* Деякі технічні характеристики дрона можуть бути засекречені.
* Цей текст має загальноінформаційний характер і не претендує на вичерпність.
Перевірка цього тексту на ексклюзивність показала, що аналогів немає.
Чат-бот на аналогічне завдання відразу видав геть іншу відповідь з різними варіантами та рекомендаціями щодо хештегів, фото, слоганів:
Промотекст для соцмереж про дрон-ракету «Паляниця»
Варіант 1: Сильний і лаконічний
«🇺🇦 Українська «Паляниця» – це більше ніж просто зброя. Це символ нашої сили, незламності та вміння захищати свою землю. #Паляниця #ЗСУ #Україна»
Варіант 2: Детальніший, з акцентом на технології
«Технологічна новинка, яка вражає! Дрон-ракета «Паляниця» – це результат українського інженерного генія. Швидка, точна, потужна. Робимо небо над Україною безпечнішим. ️ #УкраїнськіТехнології #Паляниця #Безпека»
Варіант 3: Емоційний, з акцентом на патріотизм
«Кожна «Паляниця» – це шматочок нашої душі, вкладений в захист України. 🇺🇦 Ця розробка – символ незламності українського народу. Разом до перемоги! #СлаваГероям #Паляниця»
Варіант 4: З гумором
«Хто сказав, що хліб не може літати? Знайомтеся, «Паляниця» – наша нова зброя, яка точно не залишить ворогів голодними! #Паляниця #УкраїнськийГумор #ЗСУ»
#Додаткові хештеги, які можна використовувати: #ЗСУ, #Україна, #СлаваГероям, #УкраїнськіВиробники, #ВійськоваТехніка, #ОборонаУкраїни, #СилаУкраїни, #СлаваНації
Рекомендації щодо візуального супроводу:
* Зображення: Використовуйте яскраві, динамічні зображення дрона-ракети «Паляниця» в дії. Можна додати елементи української символіки, такі як тризуб, прапор або вишиванка.
* Відео: Створіть короткий відеоролик, який демонструє можливості «Паляниці». Можна використовувати анімацію, реальні кадри або їх комбінацію.
Приклади слоганів для відео:
* «Паляниця» – наша секретна зброя.
* Українська «Паляниця» – сила, яка лякає ворога.
* Небесна «Паляниця» – символ нашої перемоги.
Потрібна додаткова допомога? Можу підготувати варіанти для різних соціальних мереж (Instagram, Facebook, Twitter) або розробити більш детальну маркетингову кампанію.
Втім Google (як і OpenAI) попереджає, що наразі ШІ може помилятися. «Іноді сервіс може показувати неточну інформацію (зокрема, про людей), тому рекомендуємо перевіряти його відповіді», – йдеться в умовах користування Gemini.
Наскільки гарно Gemini розпізнає фото? Спочатку Mind попросив описати, що на цій картинці.
Чат-бот видав таку відповідь: «На фото зображена кольорова порцелянова статуетка бика. Бик має великі роги, довгий хвіст і доброзичливий вираз обличчя. Його тіло прикрашено складними візерунками хвиль, риб і квітів. Використані кольори: синій, пурпуровий, білий і золотий».
Застосунок надав схожий більш розгорнутий текст з описом символіки. Та сам запропонував відповісти на запитання, хто є автором цієї фігурки й де її можна придбати. Але надати точні дані на свої ж запитання потім не зміг.
Цікаво, що і чат-бот, і застосунок вказали матеріал виробу, хоча по фото визначити це дуже складно. Mind узяв цю картинку з фейсбук-сторінки майстра, де в опису йшлося саме про порцелянові статуетки.
А от із трохи складнішим завданням ані чат-бот, ані застосунок спочатку не впоралися. Mind попросив вказати, хто зображений на цій купюрі:
«Оскільки я не можу обробляти зображення, не можу прямо відповісти на ваше запитання про те, хто зображений на купюрі», – видав застосунок і запросив підказки: номінал, у якій країні використовується ця валюта, чи є на купюрі якісь написи, дати або інші видатні елементи.
Чат-бот дипломатично промовчав про трабли з розпізнаванням, але також попросив йому допомогти. Після уточнення про 500 грн – видав правильну відповідь і додатково розповів, чому на купюрі зображений саме Григорій Сковорода, а на зворотному боці – церква Різдва Богородиці в селі Суботів.
Втім самостійно генерувати картинки і застосунок, і чат-бот наразі відмовляються. Пояснюють, що ця функція з’явиться в них трохи згодом.
Наскільки добре Gemini розпізнає відео? Спочатку Mind скинув посилання з кліпом на YouTube та попросив розповісти, що на відео.
Застосунок досить точно передав суть пісні й описав, що відбувається у кліпі.
Чат-бот із цим завданням не впорався. «Щоб детально описати відео, мені потрібен доступ до нього (лінк був наданий. – Mind). На жаль, я, як мовна модель, не можу напряму переглядати відео. Однак ти можеш надати мені більше інформації, і я спробую скласти максимально точний опис», – відповів бот і переклав завдання на користувача: попросив розказати про сюжет відео, про що воно, хто є головними героями, де відбуваються події тощо.
Mind спробував трохи ускладнити завдання – надіслати власне відео з концерту та спитати ім’я виконавця. У застосунку ця спроба відразу провалилася: поки він не приймає відео – лише фото.
А от чат-бот завантажив відео, щоправда в обрізаному форматі. Але потім почалися трабли: ШІ запросив будь-яку підказку та видав величезний перелік, що йому може допомогти. Mind скинув цитату з пісні, у якої була і її назва: «Україна – це світло кожного з нас». Не допомогло. «Чудово, що Ви так уважно дивилися виступ! Цей рядок справді дуже проникливий і запам’ятовується», – відповів штучний інтелект і знову запросив купу підказок: яка була атмосфера на концерті: весела, спокійна, патріотична, який стиль музики виконувала співачка: поп, рок, фольк, у якому місті та приблизно коли відбувся концерт тощо. Як ці деталі можуть йому допомогти, якщо не «спрацювала» назва пісні, за якою в мережі дуже легко знаходиться виконавиця, – не уточнив. Втім порекомендував пошукати ім’я в інтернеті.
Після довгого допиту додав, що може спробувати транскрибувати слова пісні на відео в текст, якщо користувач дасть посилання. Отримав його та запропонував декілька варіантів, що може зробити:
1. Пряме прослуховування та транскрибування: Я уважно прослухаю відео кілька разів і запишу всі слова, які зможу розібрати.
2. Використання інструментів автоматичного розпізнавання мови: існують спеціальні онлайн-сервіси, які можуть допомогти в автоматичному розпізнаванні мови з відео. Однак точність таких сервісів може варіюватися залежно від якості звуку та акценту виконавців.
3. Порівняння з іншими джерелами: якщо буде доступний текст пісні, я порівняю його з отриманою транскрипцією для уточнення деталей.
Mind вибрав перший варіант. Але у відповідь отримав гарний тролінг від ШІ:
Оскільки я не можу безпосередньо прослуховувати відео, пропоную наступний алгоритм дій:
1. Ти уважно прослуховуєш відео кілька разів. Спробуй зосередитися на словах, інтонації та ритмі.
2. Записуєш всі слова, які вдається розібрати. Не хвилюйся, якщо не всі слова будуть зрозумілі відразу. Можна записати їх фонетично, як ти чуєш.
3. Повторюєш цей процес кілька разів. З кожним прослуховуванням ти будеш краще розуміти текст.
4. Порівнюєш отриманий текст з іншими джерелами. Якщо є можливість, порівняй свій варіант з іншими записами цієї пісні або з текстом пісні, якщо він доступний.
І от вір після такого, що в ШІ поки немає почуття гумору.
Источник: mind.ua