Способы и методы машинного обучения

{"document": [{"text": [{"type": "attachment", "attributes": {"presentation": "gallery"}, "attachment": {"caption": "", "contentType": "image/png", "filename": "Machine.png", "filesize": 406738, "height": 517, "pic_id": 800443, "url": "/files/article_image/2024/01/15/Machine.jpeg", "width": 776}}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "В 2023 году трудно представить новостную ленту без понятия «машинное обучение». Предполагается, что рынок этой технологии к 2030 году достигнет 225 млрд долларов. Для сравнения — на 2023-й прогнозировался р"}, {"type": "string", "attributes": {"href": "https://www.fortunebusinessinsights.com/machine-learning-market-102226"}, "string": "ост до 26 млрд."}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "То есть Machine learning с нами надолго. Технология будет и дальше внедряться в сферы человеческой жизни: прогнозировать, классифицировать, генерировать объекты. Поэтому важно не отставать и понимать, что такое машинное обучение, как ML появилось, какие методы и способы использует. Об этом расскажем в нашей статье."}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "Суть машинного обучения"}], "attributes": ["heading1"]}, {"text": [{"type": "string", "attributes": {"bold": true}, "string": "Machine learning (машинное обучение)"}, {"type": "string", "attributes": {}, "string": " — направление развития "}, {"type": "string", "attributes": {"href": "https://altcraft.com/ru/blog/nejroseti-v-marketinge"}, "string": "искусственного интеллекта"}, {"type": "string", "attributes": {}, "string": ", которое имитирует процессы мышления человека. Здесь не задаётся чёткая последовательность действий, которую, к примеру, выполняет программное обеспечение, а происходит постоянное «размышление», как бы это делал мозг."}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "Машинное обучение — это прогнозирование на основе огромных объёмов данных, в которых алгоритмы находят закономерности. Понятие связано с нейросетями, которые входят в один из типов ML и работают через глубинное обучение."}], "attributes": []}, {"text": [{"type": "string", "attributes": {"bold": true}, "string": "Алгоритмы машинного обучения применяются для создания сервисов, которые:"}], "attributes": []}, {"text": [{"type": "string", "attributes": {"bold": true}, "string": "Рекомендуют продукты, услуги и контент"}, {"type": "string", "attributes": {}, "string": ", в том числе на основе действий пользователя"}, {"type": "string", "attributes": {"bold": true}, "string": "."}, {"type": "string", "attributes": {}, "string": " К примеру, так работают онлайн-кинотеатры, которые предлагают фильмы и сериалы, исходя из просмотренных."}], "attributes": ["bulletList", "bullet"]}, {"text": [{"type": "string", "attributes": {"bold": true}, "string": "Прогнозируют будущее: "}, {"type": "string", "attributes": {}, "string": "возможные тренды, объёмы продаж, заболевания клиентов медклиник по их анамнезу, события и так далее. Модели машинного обучения определяют кредитный рейтинг в банках и предугадывают поведение клиентов, которые, возможно, не смогут выплачивать займ."}], "attributes": ["bulletList", "bullet"]}, {"text": [{"type": "string", "attributes": {"bold": true}, "string": "Распознают объекты на изображениях и видео, понимают речь и анализируют текст."}, {"type": "string", "attributes": {}, "string": " Это ускоряет рутинные процессы, упрощает работу человека и даже обеспечивает безопасность. Например, определение номеров автомобилей по камерам видеонаблюдения — дополнительный контроль."}], "attributes": ["bulletList", "bullet"]}, {"text": [{"type": "string", "attributes": {"bold": true}, "string": "Как работает машинное обучение"}], "attributes": []}, {"text": [{"type": "string", "attributes": {"bold": true}, "string": "Определение критериев для отбора и сбор данных"}, {"type": "string", "attributes": {}, "string": ". Это огромные объёмы информации."}], "attributes": ["numberList", "number"]}, {"text": [{"type": "string", "attributes": {"bold": true}, "string": "Подготовка сведений"}, {"type": "string", "attributes": {}, "string": " — разграничение их метками, которые важны для распознавания алгоритмами ML нужных элементов. Сейчас разметка проводится специалистами и реже автоматизируется, поэтому процесс этот долгий."}], "attributes": ["numberList", "number"]}, {"text": [{"type": "string", "attributes": {"bold": true}, "string": "Проверка данных и поиск закономерностей."}, {"type": "string", "attributes": {}, "string": " Здесь находят ошибки, чтобы их исправить и сделать следующий этап наиболее точным."}], "attributes": ["numberList", "number"]}, {"text": [{"type": "string", "attributes": {"bold": true}, "string": "Выбор модели и начало обучения"}, {"type": "string", "attributes": {}, "string": ". Алгоритм обрабатывает данные и выдаёт результаты."}], "attributes": ["numberList", "number"]}, {"text": [{"type": "string", "attributes": {"bold": true}, "string": "Получение и оценка работы алгоритмов"}, {"type": "string", "attributes": {}, "string": ". На этом этапе исправляются ошибки, меняются алгоритмы для дальнейшей работы."}], "attributes": ["numberList", "number"]}, {"text": [{"type": "attachment", "attributes": {"presentation": "gallery"}, "attachment": {"caption": "", "contentType": "image/png", "filename": "algoritmy.png", "filesize": 56366, "height": 515, "pic_id": 800446, "url": "/files/article_image/2024/01/15/algoritmy.jpeg", "width": 1526}}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "История Machine Learning"}], "attributes": ["heading1"]}, {"text": [{"type": "string", "attributes": {"bold": true}, "string": "XX век"}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "Первые примеры использования машинного обучения встречаются в середине прошлого века. Скопировать нейрон впервые смогли учёные Уолтер Питтс и"}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "Уоррен Мак-Каллок ещё в 1943 году. Далее известен секретный проект армии США 1946 года для программного создания таблиц, которые улучшали меткость стрельбы."}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "Временем расцвета "}, {"type": "string", "attributes": {"href": "https://altcraft.com/ru/blog/upravlenie-dannymi-o-klientah-dlya-ml"}, "string": "машин лернинг"}, {"type": "string", "attributes": {}, "string": " стали 50-е, когда появилась Checkers-playing — программа Джозефа Вейцбаума, Фрэнка Розенблатта и Артура Сэмюэля, которая умела играть в шашки."}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "В этот же период стала известной модель нейросети (Mark I Perceptron), имитировавшая работу мозга человека, изобрёл её Розенблатт. В конце 50-х появилась SNARC — нейронка, которая выполняла комплексные задачи. Её создателем выступил американец Марвин Минский."}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "Само понятие «машинное обучение» обозначилось только в 1959 году, его озвучили на конференции в колледже Дартмута (США)."}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "Прототип первого виртуального ассистента запустили в 60-х. Это была система ELIZA, которая воспроизводила как бы диалог с психотерапевтом. В это же десятилетие изобрели алгоритм, который умел распознавать и классифицировать данные. А в конце десятилетия Бернард Уидроу и Себастьян Трун создали алгоритм обратного распространения ошибки — это был большой шаг в улучшении работы нейронок."}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "В 80-е учёные снова использвали технологии для игры. На этот раз — в шахматы. Молодые учёные из университета Карнеги-Меллон придумали систему ChipTest. На основе этой разработки в конце 90-х появился суперкомпьютер Deep Blue, который обыграл знаменитого шахматиста Гарри Каспарова. Это было одно из первых противостояний машины и человека, которое показало силу машинного обучения в прогнозировании действий роботом."}], "attributes": []}, {"text": [{"type": "string", "attributes": {"bold": true}, "string": "XXI век"}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "В наше время выросла мощность компьютеров и увеличились объёмы данных, что подтолкнуло ML к новой стадии развитии. В 2000-х появилось понятие «глубокое обучение». Начало 2010-х стало эпохой открытия новых проектов по нейросетям, в частности — в гонку вступает Google, и уже в 2012-м — алгоритм от команды Google X Lab научился узнавать котиков на картинках и в видео. Появился также Google Prediction API — сервис для аналитики и работы Machine learning."}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "Не отставали гиганты Amazon, Microsoft, Facebook*, у которых появились свои платформы, где работали методы машинного обучения. А технология компании Марка Цукерберга DeepFace научилась распознавать лица с высокой точностью."}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "В 2020-х роль машинного обучения растёт. Технологии уже работают в сферах финансов, здравоохранения, в промышленности, используются в транспорте и будут всё дальше срастаться с повседневной жизнью людей."}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "Способы машинного обучения"}], "attributes": ["heading1"]}, {"text": [{"type": "attachment", "attributes": {"presentation": "gallery"}, "attachment": {"caption": "", "contentType": "image/png", "filename": "Снимок экрана 2024-01-15 152732.png", "filesize": 157023, "height": 695, "pic_id": 800447, "url": "/files/article_image/2024/01/15/%D0%A1%D0%BD%D0%B8%D0%BC%D0%BE%D0%BA_%D1%8D%D0%BA%D1%80%D0%B0%D0%BD%D0%B0_2024-01-15_152732.jpeg", "width": 1192}}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "Методы Machine Learning"}], "attributes": ["heading1"]}, {"text": [{"type": "string", "attributes": {"bold": true}, "string": "Байесовский классификатор"}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "Метод получил название от из теоремы Байеса. В основе — определение класса объекта по его признакам. Считается одним из самых простых и используется для рубрикаторов, распознавания объектов на изображениях, определении "}, {"type": "string", "attributes": {"href": "https://altcraft.com/ru/blog/kak-otpravlyat-milliony-pisem-i-ne-popadat-v-spam"}, "string": "спамных писем"}, {"type": "string", "attributes": {}, "string": "."}], "attributes": []}, {"text": [{"type": "attachment", "attributes": {"presentation": "gallery"}, "attachment": {"caption": "", "contentType": "image/png", "filename": "bayes.png", "filesize": 107865, "height": 794, "pic_id": 800448, "url": "/files/article_image/2024/01/15/bayes.jpeg", "width": 1032}}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": ""}, {"type": "string", "attributes": {"bold": true}, "string": "Деревья принятия решений"}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "В этом методе модель выявляет взаимосвязь одних событий и объектов с другими и последствия их взаимодействия. Визуально эту схему можно изобразить в виде «разветвлений дерева», где представлены разные варианты развития событий в зависимости от выбора. Это похоже на тесты-алгоритмы с ответами «да» или «нет», которые приводит к результату. Плюс метода — в его системности, но применяется он не везде."}], "attributes": []}, {"text": [{"type": "attachment", "attributes": {"presentation": "gallery"}, "attachment": {"caption": "", "contentType": "image/png", "filename": "derevya.png", "filesize": 118900, "height": 794, "pic_id": 800449, "url": "/files/article_image/2024/01/15/derevya.jpeg", "width": 1182}}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": ""}, {"type": "string", "attributes": {"bold": true}, "string": "Логистическая регрессия"}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "Статистический метод, который стал использоваться в машинном обучении. Логистическая функция определяет зависимость между одной или несколькими переменными. Объекты разделяются по двум классам по определённым значениям в диапазоне 0-1."}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "Определение кредитного потенциала, прогнозирование успешности продаж, рекламных кампания и другие верноятностные события выявляют через метод логистической регрессии."}], "attributes": []}, {"text": [{"type": "attachment", "attributes": {"presentation": "gallery"}, "attachment": {"caption": "", "contentType": "image/png", "filename": "regressiya.png", "filesize": 68921, "height": 793, "pic_id": 800450, "url": "/files/article_image/2024/01/15/regressiya.jpeg", "width": 1097}}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": ""}, {"type": "string", "attributes": {"bold": true}, "string": "Опорные векторы"}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "Включает несколько алгоритмов, которые классифицируют объекты в гиперплоскости, разделяемую векторами. И задача системы — найти наиболее правильное расположение линии в плоскости для лучшей классификации."}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "Этот метод решает достаточно сложные задачи и может определить: мужчина или женщина на фото, какую рекламу показывать на сайте пользователю и так далее."}], "attributes": []}, {"text": [{"type": "attachment", "attributes": {"presentation": "gallery"}, "attachment": {"caption": "", "contentType": "image/png", "filename": "vektori.png", "filesize": 100256, "height": 793, "pic_id": 800451, "url": "/files/article_image/2024/01/15/vektori.jpeg", "width": 2086}}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": ""}, {"type": "string", "attributes": {"bold": true}, "string": "Линейная регрессия"}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "Смысл метода в том, чтобы соотнести одну переменную N с другой переменной или несколькими. Условно на плоскости есть точки данных, для которых нужно найти наиболее подходящую линию, которая их соединит."}], "attributes": []}, {"text": [{"type": "attachment", "attributes": {"presentation": "gallery"}, "attachment": {"caption": "", "contentType": "image/png", "filename": "lineynaya.png", "filesize": 78126, "height": 794, "pic_id": 800452, "url": "/files/article_image/2024/01/15/lineynaya.jpeg", "width": 1032}}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "Такой алгоритм легко предсказывает тренды, определяет, какой информации не хватает в простых линейных рядах. Например, что нужно добавить в последовательности 10, 20, 30, 40, 50…"}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": ""}, {"type": "string", "attributes": {"bold": true}, "string": "Ассамблейные методы"}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "Набор методов, где происходит генерация различных классификаторов и разделение данных по принципу усреднения или голосования. Такой подход уменьшает вероятность ошибок."}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "К ассамблеям относят:"}], "attributes": []}, {"text": [{"type": "string", "attributes": {"bold": true}, "string": "Бэггинг"}, {"type": "string", "attributes": {}, "string": " — базовые модели обучаются параллельно со сбором усложнённых классификаторов."}], "attributes": ["bulletList", "bullet"]}, {"text": [{"type": "attachment", "attributes": {"presentation": "gallery"}, "attachment": {"caption": "", "contentType": "image/png", "filename": "beging.png", "filesize": 105568, "height": 794, "pic_id": 800453, "url": "/files/article_image/2024/01/15/beging.jpeg", "width": 1354}}], "attributes": []}, {"text": [{"type": "string", "attributes": {"bold": true}, "string": "Бустинг"}, {"type": "string", "attributes": {}, "string": " — сильные модели создаются при помощи слабых. Происходит обучение на предыдущих классификаторах, чтобы улучшить и исправить ошибки для следующих."}], "attributes": ["bulletList", "bullet"]}, {"text": [{"type": "attachment", "attributes": {"presentation": "gallery"}, "attachment": {"caption": "", "contentType": "image/png", "filename": "busting.png", "filesize": 87478, "height": 794, "pic_id": 800454, "url": "/files/article_image/2024/01/15/busting.jpeg", "width": 1353}}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": ""}, {"type": "string", "attributes": {"bold": true}, "string": "Кластеризация к-средних"}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "Один из методов кластеризации в машинном обучении. В работе алгоритма используется некоторое рандомное число кластеров K. Для каждого свой центр (точка), от которой считается расстояние до каждой точки данных в группах. Потом центр каждого кластера перечисляется, векторы снова разбивают точки данных на кластеры. Это происходит до того, как изменений больше не происходит."}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "Кластеризация полезна для биологических исследований, в IT-технологиях и социологии."}], "attributes": []}, {"text": [{"type": "attachment", "attributes": {"presentation": "gallery"}, "attachment": {"caption": "", "contentType": "image/png", "filename": "klasterizaciya.png", "filesize": 128355, "height": 794, "pic_id": 800455, "url": "/files/article_image/2024/01/15/klasterizaciya.jpeg", "width": 1526}}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": ""}, {"type": "string", "attributes": {"bold": true}, "string": "Состязательно-генеративное обучение"}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "Этот метод основан на работе нейросетей, которые как бы вступают в борьбу друг с другом (так появилось название). Внутри алгоритмы дискриминатора и генератора. Первый пытается классифицировать входящие данные и соотносит их с категориями. Второй, наоборот, стремится выбрать образы, которые подходят к категориям. То есть генератор создаёт объекты, а дискриминатор их проверяет на подлинность. Именно такой алгоритм умеет создавать изображения несуществующих людей, которые похожи на реальных."}], "attributes": []}, {"text": [{"type": "attachment", "attributes": {"presentation": "gallery"}, "attachment": {"caption": "", "contentType": "image/png", "filename": "generativnoe.png", "filesize": 61142, "height": 793, "pic_id": 800457, "url": "/files/article_image/2024/01/15/generativnoe.jpeg", "width": 1560}}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "Резюме"}], "attributes": ["heading1"]}, {"text": [{"type": "string", "attributes": {}, "string": "Машинное обучение — вид искусственного интеллекта и имитация деятельности человеческого мозга. Первые алгоритмы Machine learning появились в 40-50-х годах прошлого века, но значительного роста достигли в XXI веке и используются сейчас во многих сферах человеческой жизни."}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "Способы ML классифицируются в зависимости от участия в нём человека. Существует машинное обучение с учителем, без учителя, с частичным привлечением учителя и с подкреплением."}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "Также есть методы, которые разделяются по принципу работы алгоритма. Выделяют байесовский классификатор, деревья принятия решений, логистическую регрессию, ассамблейные методы (бэггинг, бустинг), кластеризацию к-средних, состязательно-генеративное обучение и другие."}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "* продукт компании Meta, запрещённой на территории РФ"}], "attributes": []}, {"text": [{"type": "string", "attributes": {"bold": true}, "string": "Подписывайтесь на наш "}, {"type": "string", "attributes": {"bold": true, "href": "https://t.me/kraftovyj_marketing"}, "string": "телеграм-канал"}, {"type": "string", "attributes": {"bold": true}, "string": ". Там вы найдёте актуальные новости в области digital-маркетинга, полезные статьи и интересные исследования. Будьте в теме вместе с нами:)"}], "attributes": []}], "selectedRange": [9511, 9511]}