У принципі, для тверезості оцінки достатньо приблизно розуміти, як працюють генеративні ШІ, а які в них є обмеження. Генеративні ШІ - це власне, ті, що "вміють у контент": текст, картинки і звуки.
Якщо дуууже простими словами, то генеративний ШІ - це розумняша, в яку вивантажили величезну купу інформації і навчили круто дві речі:
- "клеїти ярлики": ось це м'яке, а це жопка з вухами 🤡
- виходячи з "навчального" досвіду передбачати з високою ймовірністю наступну одиницю якоїсь послідовності.
І коли треба закінчити речення "мені подобається піца з...", ШІ з безлічі слів дістане ті, що їй були позначені як "продукти, які підходять для начинки в піцу", і продовжить "з сиром". А коли треба буде продумати продовження далі, то візьме саме те, що зазвичай іде в піцах із сиром.
Andrew Ng (оч крутий чувак у сфері ШІ) у своєму курсі порівнює генеративний ШІ зі свіжоспеченим випускником коледжу. І пропонує оцінювати свої забаганки від ШІ саме через такий фільтр: те, що ви хочете від ШІ, здатний виконати такий випускник, якщо буде слідувати вашим промптам (підказкам, інструкціям)?
Причому майте на увазі, що цей випускник використовує тільки те, що в нього вже є в голові: він не може "сходити" в інтернет і нічого не знає про вашу ситуацію, крім озвученого. Плюс до всього в нього проблеми з пам'яттю - він пам'ятає тільки певний обсяг поточної розмови. Якщо щось схоже ви обговорювали вчора в іншому діалозі, це буде забуто.
І якщо ви даєте завдання без уточнень, на кшталт "Напиши мені пост, що продає для магазину сувенірів", він напише лажу. Ну тобто якісь моменти, можливо, будуть цілком собі нічого, але це буде текст дуже загального плану, практично вода водою.
Тому, коли пишете завдання джипітішечці, думайте про нього, як про подекуди розумного, а подекуди тупенького хлопчину, який майже напевно накосячить, якщо не напишете йому чітко, по кроках, що ви від нього хочете...
А тепер про обмеження.
1. Знання про світ у ШІ "заморожуються" на певному моменті (даті, на подіях, за якими навчали мовну модель). А "піти ніжками" до інтернету можуть не всі.
2) Іноді ШІ просто вигадує відповідь, і робить це дуже впевнено - "галюциногує". Приблизно так, як деякі студенти з упевненим виглядом несуть нісенітницю на іспиті, якщо не знають правильної відповіді. ШІ це робить ненавмисно - у поточних варіантах погано прокачано розуміння, де їхні знання достовірні, а де ні. Частково лікується вимогою перевірок джерел даних у вихідному промпті
3) Технічне обмеження - на довжину вхідної підказки і виведення інформації + на запам'ятовування контексту (яке підсумовується якраз з обмежень введення і виведення). Тому якщо дуууже довго щось обговорюєш в одному діалозі з ChatGPT, він може втратити важливі дані. Ці ліміти постійно збільшуються, але все одно вони є.
4. Не дуже добре працюють зі структурованими даними - таблицями, наприклад, якщо є таблиця з площею нерухомості та ціною, то ШІ не зможе нормально відповісти на запитання, чи хороша ціна конкретного будинку. Але більш релевантну відповідь усе-таки можна отримати, якщо додатково дати уточнення, що колонка Б - це ціна за ввідні дані (площа будинку), колонку А. Звучить дивно, але ось так. Тобто якось резюмувати підсумки в таблицях і робити на їхній основі висновки - можуть. Правильно знаходити причинно-наслідкові зв'язки між колонками - не дуже можуть.
5. Іноді можуть спотворювати результат або видавати токсичні відповіді - тому що вони навчалися на величезних масивах інформації з інтернету, а там багато чого різного, зокрема поширені в суспільстві упередження. Це дуже сильно намагаються лікувати "виробники" ШІ з різним ступенем успіху.
Загалом, відповідь на питання, як не розчаруватися в ШІ проста і передбачувана: не зачаровуватися ¯\_(ツ)_/¯
