Что такое алгоритм?

Что такое машинное обучение?

Интеллект - это машина для предсказания будущего.

Генетический механизм, донервная организация организмов, нервная система, компьютерное машинное обучение - все это механизмы предсказания будущего. Почему они разные? Математически доказано, что не существует универсального алгоритма.

Генетический механизм эффективен для организмов малых размеров - вирусы, агломерат молекул. На клеточном уровне появляется клеточная адаптивность к химическим, физическим и электромагнитным воздействиям. С увеличением размеров и важностью быстрой реакции появляется нервная система (малоподвижным организмам нервная система не нужна).

Генетические алгоритмы, реализованные на компьютере, исследуются давно. И на практике они никому не нужны, для решаемых задач используют более подходящие алгоритмы.

Нервная система представлена у широкого числа видов. У насекомых (беспозвоночных), самой распространённой группы животных, нервная система очень хорошо оптимизирована, у них нет индивидуальности. Они достигают совершенства в решении стандартных задач, но беспомощны в нестандартных ситуациях. Нервная система позвоночных построена на принципах вероятностного развития, дублирования, избыточности и индивидуальной изменчивости. Это не означает, что в мозге позвоночных нет места генетической детерминации развития или нейрогормональной регуляции. Все эти слагаемые поведения присутствуют. Однако они играют несоизмеримо меньшую роль, чем у беспозвоночных.

Работа человеческого мозга достаточно изучена нейробиологией. Клеточное строение единообразное. Хотя мозг делится на отделы, но они взаимозаменяемые. Вычисления, происходящие внутри головного мозга, тоже единообразны. Генетическая детерминация играет роль - возможно, 50% генов из генома имеют мозговую активность. С другой стороны, количество соединений нейронов более чем в миллион раз превышает количество "букв" во всем геноме.

Алгоритм - это форма движения. Когда одно движение моделируется другим движением. К любому алгоритму можно построить машину Тьюринга - а это уже и есть форма движения.

Основные свойства алгоритмов:

1. Одно движение моделирует другое. И они могут быть разными. Решить задачу всегда можно разными алгоритмами.

2. Принцип суперпозиции. Движение разбивается на ряд других движений, конечным числом операций.

3. Рекурсия. Движение подобно самому себе. Новое движение определяется на основании предшествующего.

4. Минимизация. Более элементарное движение подобно более сложному.

Эти свойства выражаются строго математически.

Фундаментальной особенность алгоритма является следующее. Когда мы пишем алгоритм, он получается строго детерминированным. Подходящим к решению конкретной задачи. Чтобы он мог решать другие задачи, они уже должны в этом алгоритме содержаться. Как такое возможно? Как одно движение может содержать все другие или как одно движение может быть привилегированным? Скорее всего это невозможно. Были попытки сделать такой универсальный алгоритм, насколько известно, особых результатов не было.

Из взаимодействий человека с машиной видно, что алгоритмы должны скорее как-то создаваться.

Определённые успехи показывает область машинного обучения. Слово обучение подразумевает поведение компьютера, не заложенное в него явно. Оно делится на два направления: дедуктивное обучение и индуктивное обучение. Основное развитие получило индуктивное обучение.

Индуктивное обучение - это когда есть некая область связанных пар ситуация-реакция. Известны только некоторые пары. И по ним строится аппроксимирующая функция (алгоритм) для всей области. И это уже ближе к понятию, что алгоритмы должны как-то создаваться.

Машинное обучение имеет серьезные ограничения. Дедуктивное (от общего к частному) ограничивается алгоритмической неразрешимостью. Когда в частном случаи задача решаема, но при попытке объединить задачи в общий класс с общим решением появляется алгоритмическая неразрешимость. У этих задач нет общего решения. Для индуктивного обучения существует NFL-теорема - если один алгоритм хорошо решает одну задачу, то для другой задачи он будет не лучше случайного поиска. Нет универсального алгоритма.

В итоге получается, что для каждой задачи нужен свой алгоритм. Откуда алгоритмы берутся? Вариантов здесь немного. Если рассматривать алгоритм как форму движения, то логично предположить, что движение берется напрямую из окружающей среды.