Сему Альтману, CEO OpenAI, треба 7 трильйонів доларів, це 7 000 000 000 000$, тобто 10¹². ВВП США за 2023 рік склало 27 трильйонів доларів (385%), Німеччини 4 трильйони доларів (57%), а України - 150 мільярдів (2.14%). За ці гроші можна купити 140.000 (!!!) літаків F16.
Ціна розробки ChatGPT 1 - майже 0. Другої версії - 40.000$. Для ChatGPT 3 треба було 4.000.000$. Четверта версія обійшлася в 100.000.000$. ChatGPT 5 коштує приблизно 2.5 мілярди доларів США. В середньому кожна наступна модель обходиться в 30 разів дорожче. З таким успіхом на ChatGPT 6 треба буде 75 мілярдів, а на ChatGPT 7 - 2 трильйони.
Є три основні проблеми, які можуть завадити подальшому розвитку: обчислювальні потужності, електроенергія та дані для тренування моделі. Далі я хотів би зупинитись на кожній з них детальніше.
Обчислювання
Щодо генеруючих потужностей, то з цим не все так однозначно. Потужність всіх компютерів в світі - 10^9 Терафлопс (кількість операцій з плаваючою крапкою). Це одиниця з 21 нулем операцій на секунду. Це досить багато, навіть дуже багато. Але навіть з всіма цими комп’ютерами, ChatGPT 4 б навчили за 2 години. Загальна довжина навчання зайняла близько 6 місяців, адже вони використовували лише 1/2000 від загальної кількості, що теж доволі багато, це як 100 мільйонів геймерських компютерів. Для ChatGPT 5 нам треба у 28.50 разів більше. Але ж кожні півтора роки подвоюється загальна потужність? Навіть так, для ChatGPT 6 треба буде 10%, а для ChatGPT 7 - 30%. Чи зможе OpenAI до того часу забрати собі кожен третій компютер в офіс? Навряд-чи, але є ще одна проблема, яка навіть більш критична.
Електрика
ChatGPT-4 треба було 50 гігават-годин електроенергії, для тренування, яке зайняло 6 місяців. Якщо брати до уваги ріст у ті ж 30 разів, та припустити, що тренування буде займати також 6 місяців, то ChatGPT5 треба буде 1500 Гв/г, шостій версії - 45000Гв/г, а 7 - 1.3 мільйона гігават-годин. Навіть 50 гігават-годин може живити понад 4.6 мільйона будинків, цього вистачить для живлення всього Лос-Анджелесу протягом року, або на два роки Києву. Якщо 5 версію можна підтримувати доволі легко (якщо за легко брати маленьку АЕС, адже йому треба буде 347 МВт постійної енергії), то для 6 версії треба буде вже 10000МВт, але найбільша АЕС в Європі (Запорізька) видає лише 6000, треба добудувати декілька блоків. Про 7 версію годі і казати, хоча для цього треба 0.0045% від світового вироблення електроенергії, але це декілька атомних станцій, які мають знаходитись відносно поруч, або термоядерний синтез, до якого ще, в кращому випадку, десятки років.
Дані
Побудували вони через пару років термоядерний реактор, викупили всі MacBook, ASUS, Lenovo і так далі. Але залишається одна проблема, яку просто так не вирішити лише грошима - дані для навчання. Для ChatGPT 3 використовували 300 мільярдів токенів, наступній версії треба було 6-13 трильйонів (точна кількість невідома). Хоча через збільшення потужності, нам треба буде збільшити кількість даних лише у +-5.5 разів, для ChatGPT 5 це буде вже 40-50 трильйонів токенів. В світі, якщо зібрати всі книги, відео, картинки, повідомлення і тд, згенерується лише кілька сотень трильйонів токенів, цього, можливо, вистачить ще для 6 версії (питання, як це все зібрати, залишається відкритим), то для ChatGPT 7 не буде навіть половини від необхідних даних. А дані з грошей не зробиш, це мають робити реальні люди, АБО за допомогою самонавчання, тобто навчання на даті, яка була створенна АІ. Хоча поки що якість і достовірність таких даних під сумнівна, адже моделі не досконалі, що в такому випадку призведе до великої кількості помилок і артефактів. Можна також вдосконалити моделі, щоб вони могли збирати більшу кількість інформації з меншої кількості дати (наприклад для генерування відео з песиком треба буде не декілька тисяч, а то і десятків тисяч відео, а декілька сотень).
Висновки
Отже, чи вдастся Сему Альтману залучити 7 трильйонів для свого мегапроекту, який змінить майбутнє? Скоріше за все - ні, адже ні арабські шейхи, які зараз почали з ним плідну співпрацю, ні влада США, ні навіть Китаю, не мають таких ресурсів, щоб виділити їх на проміжку декількох років, і, скоріше за все, вони в них і не з’являться. Але загальне фінансування буде залежати як від ChatGPT 5, так і від дій конкурентів. Також необхідно не забувати про складну воєнно-політичну ситуацію та кризу, яка з вливанням 7 трильйонів у технологічну компанію, яка спрямована на майбутнє, а не на тут і зараз, не покращиться. Також залишається питання, щодо готовності світу і людей до настільки просунутого AI. За останні декілька років, багато людей втратили роботу, ще велика кількість перекваліфікувалась. Чого вартує нещодавно випущений Sora від того ж OpenAI, який може генерувати майже фотореалістичні відео. З появою перших машин, тисячі людей виявились непотрібними. І хоча це було тимчасове явище, більшість з них справилися з фінансовими труднощами, а ВВП країн та їх благополуччя почали невпинно рости, але якщо накласти це на економічні проблеми світу, можна очікувати чого завгодно.
P.S. З генеруванням тексту та розрахунками мені допомагав Gemini від Google 😊
Оригінал статті, на яку я опирався при створенні цієї: https://www.astralcodexten.com/p/sam-altman-wants-7-trillion
