GPT-4 - Решение капчи, Объяснение мемов и OCR

{"document": [{"text": [{"type": "attachment", "attributes": {"presentation": "gallery"}, "attachment": {"caption": "", "contentType": "image/png", "filename": "scale_2400.png", "filesize": 75224, "height": 900, "pic_id": 477543, "url": "https://storage.yandexcloud.net/pabliko.files/article_cloud_image/2023/03/17/scale_2400_4CoCO6q.jpeg", "width": 1600}}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "GPT-4 была запущена с мультимодальными возможностями, что означает, что вы можете отправить изображение, затем отправить текст и получить ответ в тексте. Вы можете общаться с несколькими режимами, хотя она не была сделана доступной для любого желающего получить доступ к GPT-4. Ни в форме API, ни в чате, ни с подпиской GPT. Однако, похоже, что бот для Discord с мультимодальными возможностями утек на некоторое время, и люди воспользовались этим и попробовали мультимодальные возможности. Один из них - Танишк Абрахам. Таким образом, Танишк посмотрел на утекший бот Discord для GPT-4 и попробовал несколько вещей, и я покажу вам, какие возможности у нее есть чисто из треда Танишка."}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "Решение капчи"}], "attributes": ["heading1"]}, {"text": [{"type": "string", "attributes": {}, "string": "Одно из обычных заданий, которые мы можем получать, это выбрать, например, все изображения, на которых есть автобус, или перекресток. На этом изображении вы можете увидеть, что на нем есть пешеходный переход. Давайте посмотрим, что GPT-4 сказал: «Изображения с пешеходными переходами - первое изображение в верхнем ряду. Затем следует второе изображение в среднем ряду и первое изображение в нижнем ряду». Это довольно точно, и это может означать, что в будущем люди могут использовать GPT-4 API для решения капчи. "}], "attributes": []}, {"text": [{"type": "attachment", "attributes": {"presentation": "gallery"}, "attachment": {"caption": "", "contentType": "image/png", "filename": "33333333.png", "filesize": 200539, "height": 600, "pic_id": 477547, "url": "https://storage.yandexcloud.net/pabliko.files/article_cloud_image/2023/03/17/33333333_Lk0DIsq.jpeg", "width": 614}}], "attributes": []}, {"text": [{"type": "attachment", "attributes": {"presentation": "gallery"}, "attachment": {"caption": "", "contentType": "image/jpeg", "filename": "FrXxwB-aIAAtEiz.jpg", "filesize": 64598, "height": 462, "pic_id": 477548, "url": "https://storage.yandexcloud.net/pabliko.files/article_cloud_image/2023/03/17/FrXxwB-aIAAtEiz_BWZQGyZ.jpeg", "width": 1483}}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "Объяснение мемов"}], "attributes": ["heading1"]}, {"text": [{"type": "string", "attributes": {}, "string": "Еще одна вещь, на которую GPT-4 может ответить - это объяснение мемов. Это довольно удивительно, потому что многие считают, что системы ИИ не могут понимать сарказм. Однако GPT-4 может объяснять мемы. "}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "«В этом меме представлено искаженное изображение персонажа, корчащего глупое лицо с текстом, который также намеренно искажен и трудно читаем. Он предназначен для того, чтобы передать ощущение перегруженности и неспособности идти в ногу с темпами научных исследований. Намеренно искаженный текст и изображение добавляют мему юмористический элемент, отражая борьбу и замешательство, которые кто-то может испытывать, пытаясь идти в ногу с быстрым прогрессом в своей области.» "}], "attributes": []}, {"text": [{"type": "attachment", "attributes": {"presentation": "gallery"}, "attachment": {"caption": "", "contentType": "image/png", "filename": "33123123.png", "filesize": 203198, "height": 641, "pic_id": 477549, "url": "https://storage.yandexcloud.net/pabliko.files/article_cloud_image/2023/03/17/33123123.jpeg", "width": 597}}], "attributes": []}, {"text": [{"type": "string", "attributes": {"bold": true}, "string": "Смешные картинки"}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "GPT-4 также может объяснять смешные картинки. "}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "«Забавный аспект этого изображения заключается в том, что люди относятся к очкам, оставленным на полу, как к произведению искусства, фотографируют и рассматривают их так, как будто они имеют художественное значение. Это подчеркивает идею о том, что в музейной обстановке даже обычные предметы могут восприниматься как искусство, что приводит к юмору и путанице.» "}], "attributes": []}, {"text": [{"type": "attachment", "attributes": {"presentation": "gallery"}, "attachment": {"caption": "", "contentType": "image/png", "filename": "33331212.png", "filesize": 318118, "height": 624, "pic_id": 477550, "url": "https://storage.yandexcloud.net/pabliko.files/article_cloud_image/2023/03/17/33331212.jpeg", "width": 600}}], "attributes": []}, {"text": [{"type": "string", "attributes": {"bold": true}, "string": "OCR"}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "GPT-4 также может использоваться для OCR. Танишк загрузил изображение из Google, и GPT-4 прочитал подпись к нему. Хотя в некоторых случаях возможно есть ошибки, OCR в GPT-4 довольно хороший. "}], "attributes": []}, {"text": [{"type": "attachment", "attributes": {"presentation": "gallery"}, "attachment": {"caption": "", "contentType": "image/png", "filename": "312111.png", "filesize": 264509, "height": 666, "pic_id": 477551, "url": "https://storage.yandexcloud.net/pabliko.files/article_cloud_image/2023/03/17/312111.jpeg", "width": 590}}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "LaTeX"}], "attributes": ["heading1"]}, {"text": [{"type": "string", "attributes": {}, "string": "GPT-4 также может работать с LaTeX-кодом. Хотя это не совершенно, GPT-4 может обрабатывать некоторый LaTeX-код."}], "attributes": []}, {"text": [{"type": "attachment", "attributes": {"presentation": "gallery"}, "attachment": {"caption": "", "contentType": "image/jpeg", "filename": "FrXx333x6TaYAA4lK0.jpg", "filesize": 63900, "height": 525, "pic_id": 477553, "url": "https://storage.yandexcloud.net/pabliko.files/article_cloud_image/2023/03/17/FrXx333x6TaYAA4lK0.jpeg", "width": 1556}}], "attributes": []}, {"text": [{"type": "attachment", "attributes": {"presentation": "gallery"}, "attachment": {"caption": "", "contentType": "image/jpeg", "filename": "FrXxyIBaEAEzoP_.jpg", "filesize": 34023, "height": 237, "pic_id": 477554, "url": "https://storage.yandexcloud.net/pabliko.files/article_cloud_image/2023/03/17/FrXxyIBaEAEzoP_.jpeg", "width": 2592}}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "Итоги"}], "attributes": ["heading1"]}, {"text": [{"type": "string", "attributes": {}, "string": "Таким образом, мультимодальные возможности GPT-4 весьма обширны, она может решать капчу, объяснять мемы, работать с LaTeX-кодом и многое другое. Хотя некоторые возможности нуждаются в улучшении, GPT-4 уже сейчас лучше меня понимает юмор и мемы. Очень интересно, когда GPT-4 станет доступен для всех пользователей."}], "attributes": []}], "selectedRange": [2986, 2986]}