Что это
Помнишь подсказки на клавиатуре телефона, которые предлагают следующее слово? Чат-бот работает похоже, только несравнимо умнее: он пишет ответ по кусочку, каждый раз оценивая, какое слово или часть слова вероятнее всего пойдёт дальше.
Зачем это нужно
Большие языковые модели уже пишут код, переводят, отвечают клиентам, помогают врачам и юристам разбирать документы; на них построены Чат-Джи-Пи-Ти, Клод и Джемини. Работать с ними станет так же обычно, как сегодня искать в интернете, и выиграет тот, кто понимает, что внутри: модель выбирает правдоподобное, а не обязательно правдивое. Инженеры обучают и настраивают такие модели и строят под них огромные дата-центры, а специалисты в любой профессии решают, где можно доверить работу боту, а где нужен человек, который проверит факты. ИИ пишет быстро, но отвечать за результат и замечать уверенную ошибку — дело человека.
Как это работает
Модель смотрит на текст, оценивает вероятности всех возможных следующих токенов — слов или кусочков слов, — выбирает один, добавляет его к тексту и повторяет всё заново. Наша игрушечная модель знает только, какое слово чаще шло после предыдущего, а настоящая большая языковая модель — нейросеть-трансформер — учитывает весь диалог, тысячи токенов, обучена на огромном корпусе текстов и дообучена на примерах хороших ответов и оценках людей. Температура управляет случайностью: при нуле всегда берётся самое вероятное слово, а при высокой температуре шанс получают и редкие слова — текст разнообразнее, но чаще выходит чепуха. Поэтому модель иногда уверенно ошибается — это называют галлюцинациями.
Немного истории
В 1913 году русский математик Андрей Марков взял двадцать тысяч букв из «Евгения Онегина» и посчитал, как часто за гласной идёт гласная, а за согласной — согласная. Он показал, что следующая буква зависит от предыдущей, — так появились цепи Маркова, прямые предки нашей игрушечной модели, которая угадывает слово по предыдущему. Сегодняшние чат-боты устроены несравнимо сложнее, но идея предсказать следующее осталась той же.
Что будем делать на практике
А теперь давай попробуем выполнить практическое задание. Перед тобой игрушечная модель и запрос «Расскажи про Землю.»; ответ пока пустой, а рядом видны варианты первого слова с вероятностями: «Земля» — пятьдесят семь процентов, «Луна» — двадцать восемь, «На» — пятнадцать. Сейчас температура ноль целых семь десятых, а тебе нужно получить два ответа до точки: один при температуре ноль, другой — при температуре не меньше одной целой двух десятых. Слова выбирает сама модель, ты не подсказываешь, а только ставишь температуру и смотришь, что выходит. Сравни ответы: какой предсказуемый, какой разнообразнее и где модель начала нести чепуху — и подумай, чем настоящий чат-бот отличается от этой игрушки. Если что-то осталось непонятным — ничего страшного, спроси меня о чём угодно, я отвечу. Не переживай.