1。Wensheng视频模型（例如Sora，Pika，跑道Gen-2）

功能和数据：

Openai Sora：Sora模型于2024年2月发布，并进行了初步的内部测试，并且在2024年11月向某些创作者开放了有限的访问权限。Sora能够生成长达60秒的视频，包括精美的背景，复杂的多角度拍摄开关和情感人物。在分辨率方面，Sora支持各种尺寸，包括1920x1080p，1080x1920p以及两者之间的各种规格。在内部测试中，与以前的文本生成的视频模型相比，SORA生成的视频在视觉质量，文本忠诚度和持续时间方面分别增加了85％，73％和68％，例如跑道Gen-2和Pika 1.0（基于手册）评估）。

跑道GEN-2：跑道Gen-2于2023年6月发布，并支持长达18秒的视频。在2024年更新中，Gen-2介绍了运动刷功能，使用户可以对视频中的特定区域进行精细的控制。根据Runway正式发布的数据，Gen-2的用户活动在2024年第三季度增加了45％。

Pika 1.0：Pika 1.0于2023年11月发布，并支持3D动画，动漫，卡通和电影的一代和编辑。 Pika 1.0能够生成长达10秒的视频。在发布后的三个月内，皮卡吸引了50万用户，并产生了超过3000万个视频。

优势：

高保真渲染：以上所有模型都可以生成具有复杂场景动态的视频，包括细纹理，光和阴影效果以及物理运动模拟。例如，索拉（Sora）可以模拟复杂的物理互动，例如玻璃破坏，火焰扩散等。跑道gen-2的运动刷功能使用户可以精确控制视频中对象的运动轨迹。

多域的适用性：这些模型已应用于电影和电视排练，广告创造力，社交媒体内容生产和其他领域。例如，一些电影制作公司使用Sora来生产电影预告片的草稿，从而提高了生产效率。广告公司使用跑道Gen-2来创建产品促销视频，从而降低生产成本。根据行业分析报告，使用Wensheng视频模型可以将内容生产周期缩短30％-50％。

改进的用户友好性：PIKA 1.0具有简单的接口设计，易于使用，可降低非专业用户的阈值。

缺点：

缓慢的生成：即使您产生了几秒钟的视频，也可能需要几分钟甚至数小时的渲染时间。例如，根据用户反馈，Sora生成了60秒的视频，该视频平均需要45分钟至2小时，具体取决于视频的复杂性。跑道Gen-2在10-30分钟内平均产生18秒的视频。

不足的可控性：用户对生成视频细节的控制仍然有限，例如，在处理复杂的物理互动和因果关系时，很难准确控制对象的位置，动作序列，镜头运动等。关系。尽管跑道Gen-2的运动刷功能可提高可控性，但仍需要对用户进行多次尝试和调整。

高计算资源消耗：培训和运行这些模型需要大量计算资源。 Openai尚未透露Sora的培训费用，但行业内部人士估计，Sora的培训成本可能高达数百万美元。

潜在的道德风险：生成的视频可用于产生虚假信息或深层捕获，从而造成不利的社会影响。

2。多模式推理模型（例如GPT-4O，Google Gemini 1.5 Pro，Claude 3）

功能和数据：

OpenAI GPT-4O：GPT-4O于2024年5月发布，在多模式理解和产生方面取得了显着改善。在MMLU（大量的多任务语言理解）基准中，GPT-4O得分为88.7％，超过了先前的GPT-4模型。在多模式基准MMMU（大量多学科多模式理解）中，GPT-4O得分为65.2％，比GPT-4增长了7.5％。 GPT-4O的响应速度比GPT-4快2倍，并且在处理图像，音频和文本的组合输入时，成本降低了50％。

Google Gemini 1.5 Pro：发行于2024年2月，Gemini 1.5 Pro的上下文窗口长度达到100万个令牌，这是行业领先的水平。在多模式推理基准MathVista（数学视觉推断）中，双子座1.5 Pro得分为58.5％，比以前的Gemini 1.0 Pro增长了12.3％。 Gemini 1.5 Pro最多可以处理1小时的视频，11小时的音频，30,000行代码或700,000个文字。

Claude 3系列于2024年3月发行的拟人化Claude 3：包括Haiku，Sonnet和Opus。 Opus模型在多模式基准AI2D（AI2图理解）中得分84.9％，超过了人类专家水平（83.2％）。克劳德3在处理长文本和复杂的推理任务时显示出更大的稳定性和可靠性。

优势：

复杂的问题解决能力：在处理复杂的科学，数学和编程问题时，这些模型靠近甚至超过人类专家。例如，Gemini 1.5 Pro可以分析科学研究论文中的图表和数据，提取关键信息并进行推断。克劳德3能够理解复杂的法律文件并提供准确的摘要和分析。

跨模式推理：这些模型可以集成来自多种模式的输入，例如文本，图像，音频和视频，以进行全面的分析和推理。例如，GPT-4O可以基于用户提供的图像和文本描述生成相应的音频内容。 Gemini 1.5 Pro能够分析视频中的场景和对话，提取关键信息并回答相关问题。

长上下文处理能力：Gemini 1.5 Pro的100万个令牌上下文窗口使其能够处理大量的历史信息并提高对话和推理的一致性。

缺点：

高计算能力要求：培训这些大型多模型需要大量的计算资源和能耗。据估计，训练与GPT-4量表相当的模型可能会花费数千万美元。

概括限制：尽管这些模型在许多任务上表现良好，但是在处理非结构化，模糊或开放式问题时仍然存在困难。例如，在处理涉及常识推理或情感理解的任务时，模型的性能可能不稳定。

“幻灭”问题：该模型有时会产生看似合理的，但实际上是不正确或毫无意义的输出。

可解释性差：这些模型的决策过程通常很难解释，这在某些应用程序方面（例如医学诊断，财务决策）可能会成为一个问题。

3。智能机构（例如自动驾驶系统，智能家庭助理，工业机器人）

功能和数据：

自动驾驶系统：

特斯拉自动驾驶仪：截至2024年，特斯拉自动驾驶仪已行驶超过100亿英里。在2023年的第四季度，特斯拉车辆每618万英里行驶，没有自动驾驶仪，每107万英里旅行（根据特斯拉的官方数据）。

Waymo：截至2024年，Waymo的自主舰队已在美国的几个城市行驶了超过2000万英里。 Waymo的自主驾驶系统在2023年达到21,765英里，比2022年增长了32％（根据Waymo向加利福尼亚DMV的报告）。

Cruise：到2023年底，Cruise的自主舰队已在旧金山行驶了超过500万英里。在2023年，Cruise的自主驾驶系统在复杂的城市环境中的碰撞率下降了54％（根据Cruise的官方数据）。

智能家庭助理：

亚马逊Alexa：截至2024年，全球超过5亿个设备内置了Alexa。 Alexa了解并以多种语言和控制超过140,000个智能家居设备的控制语音命令。根据亚马逊正式发布的数据，Alexa的用户满意度在2023年达到87％。

Google Assistant：截至2024年，Google Assistant支持了30多种语言，可用于超过10亿个设备。 Google Assistant能够处理复杂的自然语言查询并提供个性化的信息和服务。根据Google发布的数据，2023年，Google Assistant的每月活跃用户数量超过5亿。

工业机器人：

ABB Yumi：Yumi是与人类工人合作的协作机器人。 Yumi具有两臂设计，每臂有7度的自由度，并且可以完成精确的装配任务。 Yumi的重复定位精度达到0.02 mm。

Universal Robots UR5E：UR5E是一种轻巧的协作机器人，负载容量为5 kg，工作半径为850毫米。 UR5E易于编程和部署，适用于广泛的工业自动化应用程序。

优势：

自主和效率：代理可以在一定程度上独立完成任务，降低手动干预并提高效率。例如，自主驾驶系统可以独立规划驾驶路线，避免障碍并遵守交通规则。智能家庭助理可以自动控制家用电器，提供信息查询，安排时间表等。工业机器人可以自动完成诸如组装，处理和焊接之类的任务。

体现的情报潜力：代理商在行业，消费，医疗保健等领域具有广泛应用前景的互动能力。例如，预计自动驾驶系统将改变运输方式并提高道路安全性。聪明的家庭助理可以改善家庭生活的便利和舒适。工业机器人可以提高生产效率和产品质量。

安全改进（特定方案）：在某些高风险或重复的劳动力情况下，代理人可以替代人类并降低伤亡风险。

缺点：

安全风险：代理人的自主决策可能存在风险，尤其是在复杂和不确定的环境中。例如，由于传感器故障，算法缺陷或环境干扰，自主驾驶系统可能发生事故。

隐私争议：执行任务时，代理可能会收集和处理用户的个人数据，从而引起人们对隐私泄漏的担忧。例如，智能家庭助理可以记录用户语音命令，家庭活动和其他信息。

道德挑战：代理商的行为可能涉及道德问题，例如在自动驾驶中发生紧急情况时如何做出决策（电车拼图）。

成本：开发，部署和维护代理的成本很高，尤其是在需要高精度和高可靠性的情况下。

4。多模式教育解决方案

功能和数据：

个性化学习平台：

Squirrel AI：Xue Education是一家中国人工智能教育公司。它的松鼠AI系统可以为K-12学生提供个性化的学习经验。松鼠AI系统可以分析学生的学习数据，诊断知识漏洞，并推荐相应的学习内容和练习。根据Xuexue教育发布的数据，使用松鼠AI系统的学生的平均学习效率增加了3-5倍。

Knowton：Knowton是一家美国人工智能教育公司，其Alta平台为高等教育学生提供了自适应学习经验。 Alta平台可以根据学生的学习进度和表现动态调整课程内容和难度。根据Knowton发布的数据，使用ALTA平台的学生的考试成绩平均提高了15％。

智能辅导系统：

Duolingo：Duolingo是一种流行的语言学习应用程序，其内置智能辅导系统可以为用户提供个性化的练习和反馈。 Duolingo可以根据用户的学习进度和错误调整练习的难度和内容。截至2024年，Duolingo的每月活跃用户超过5亿。

Mathway：Mathway是一种数学问题解决应用程序，其内置智能辅导系统可以为用户提供分步的答案和解释。 Mathway可以确定用户输入的数学问题并提供详细的解决问题的步骤。

多模式内容生成：AI可以自动生成教学大纲，课程注释，演示，练习，测试问答分析。根据对500所学校的调查，这种类型的系统涵盖了K12主题知识点的92％，并且内容准确性超过95％。

优势：

个性化教学：多模式教育解决方案可以根据学生的学习数据和表现提供个性化的学习内容，练习和反馈。这有助于提高学生的学习兴趣和效率。

降低教育成本：多模式教育解决方案可以降低教育成本，并使更多的人获得高质量的教育资源。例如，在线学习平台可以以较低的成本提供大型课程。

提高教学效率：多模式教育解决方案可以帮助教师减轻工作负担并提高教学效率。例如，智能辅导系统可以自动纠正作业并回答问题。

促进教育公平：多模式教育解决方案可能会打破地理和资源限制，使偏远地区的学生也可以获得优质的教育资源。

缺点：

情绪互动不足：多模式教育解决方案很难取代教师在情感交流和动机中的作用。这可能会影响学生学习和社交的动力。

数据偏见：多模式教育解决方案的培训数据可能会有偏见，从而导致模型不公平。

技术依赖性：多模式教育解决方案依赖于技术基础架构，例如网络连接，硬件设备等。在技术条件不足的领域，可能很难促进。

过度依赖的风险：学生可能过多地依靠AI援助，削弱他们独立学习和思考的能力。

5。小规模有效模型（例如Phi-3，DeepSeek-V3，Mixtral 8x7b）

功能和数据：

Microsoft PHI-3：PHI-3系列是由Microsoft于2024年4月发布的小语言模型（SLM）。Phi-3-Mini是一个38亿个参数语言模型，其性能优于两倍甚至十倍的模型大小在各种基准中。 PHI-3-MINI在4K和128K上下文长度版本上接受了培训，并具有强大的指导能力。 PHI-3-SMALL（7b）和PHI-3-MEDIUM（14b）进一步提高了性能。在MMLU基准测试中，PHI-3-MINI得分为69.4％，PHI-3-MALL得分为75.3％，而PHI-3中心得分为78.2％。

DeepSeek-V3：DeepSeek-V3是DeepSeek于2024年推出的开源语言模型。DeepSeek-V3采用了独特的体系结构，可大大降低计算成本，同时保持高性能。 DeepSeek-V3的培训成本比相同规模的国际模型低的数量级。在中文的理解和发电任务中，DeepSeek-V3的表现要比许多国际知名的模型更好。

Mixtral 8x7b：Mistral AI的稀疏专家混合模型（SMOE）在大多数基准中超过或匹配的Llama 2 70B和GPT-3.5，推理速度的提高了6倍。

优势：

低能消耗与低成本：小规模和高效的模型保持高性能，同时大大降低了培训和操作所需的计算资源和能源消耗。这使中小型企业和研究机构也能够部署和使用这些模型。

垂直场优化：通常针对特定领域或任务进行优化的小规模高效模型，从而在这些领域具有更好的性能。例如，一些小型模型在医学诊断，财务风险控制，法律咨询等领域表现良好。

灵活的部署：小规模的高效型号可以在各种硬件平台上运行，包括个人计算机，移动设备，嵌入式系统等。这使其应用程序方案更加广泛。

开源促进创新：许多小规模的高效模型都是开源的，该模型促进了社区的合作和创新，并加速了模型的开发和应用。

缺点：

概括能力相对较弱：与大型模型相比，在处理复杂的开放任务时，小规模的有效模型可能具有较弱的概括能力。

数据质量依赖性：小规模有效模型的性能在很大程度上取决于培训数据的质量和数量。如果存在偏见或培训数据不足，则可能会影响模型的性能。

域的适应性：在特定区域表现良好时，迁移到其他区域可能需要重新调整或微调。

5。小规模有效模型（例如Phi-3，DeepSeek-V3，Mixtral 8x7b，minicpm-2.6b）（续）

功能和数据（MiniCPM-2.6B）：

面向墙壁的智能minicpm-2.6b：minicpm-2.6b是2024年初面向墙面智能发行的端侧多模型。它以2.6b的参数量表超过了许多大型模型。 MiniCPM-2.6B具有以下功能：

多模式能力：MiniCPM-2.6B能够处理图像和文本输入以及执行跨模式的理解和生成。 MiniCPM-2.6B在多个视觉问题和答案（VQA）基准测试中胜过相同大小的模型。例如，在VQAV2测试集中，MiniCPM-2.6B在TextVQA测试集上的精度为68.5％和52.3％。

端侧优化：MiniCPM-2.6B针对端侧设备进行了优化，并且可以在智能手机，平板电脑和其他设备上有效运行。根据Wall-Surface Intelligent发布的数据，MiniCPM-2.6B在iPhone 15 Pro上的推理速度每秒达到25个令牌，Snapdragon 8 Gen 3芯片的推理速度每秒达到30个令牌。

多语言支持：MiniCPM-2.6B支持多种语言，包括中文，英语，法语，西班牙语等。在多语言翻译任务中，MiniCPM-2.6B胜过多个开源翻译模型。

开放性和自定义：MiniCPM-2.6B是开源的，使开发人员可以根据需求自定义和优化。面向墙壁的智能还提供相关的工具和教程，以帮助开发人员快速入门。

申请案例（墙面智能）：

智能助理：Minicpm-2.6b集成到面向墙壁的智能的智能助理产品中，为用户提供了多模式的互动体验。用户可以通过语音，图像或文本与助手互动，以获取信息，完整的任务，控制设备等。

终端应用程序：MiniCPM-2.6B部署在多个端端应用程序中，例如智能手机，智能家居设备，可穿戴设备等。例如，在智能手机上，MiniCPM-2.6B可以用于图像识别，智能翻译，等等。

行业解决方案：面对墙壁的智能使用MiniCPM-2.6B为多个行业提供定制解决方案，例如教育，医疗保健，零售等。 ，个性化学习，等等。

优点（minicpm-2.6b）：

轻巧有效：MiniCPM-2.6B紧凑的模型尺寸和有效的推理速度使其非常适合在资源受限的端端设备上运行。

强大的多模式能力：尽管具有较小的模型大小，但Minicpm-2.6b在多模式理解和生成方面表现出色，能够处理各种复杂的任务。

易于部署和集成：MiniCPM-2.6B是开放且可自定义的，使得易于部署到各种应用程序方案并与其他系统集成。

成本效益：与大型模型相比，MiniCPM培训和部署成本大大降低，这有利于技术的普及。

缺点（minicpm-2.6b）：

仍然有概括的空间：虽然MiniCPM-2.6B在许多任务上的表现都很好，但在处理非常复杂或开放式任务时，其概括能力可能不如更大的模型。

对培训数据质量的依赖性仍然存在：尽管MiniCPM-2.6B在小型模型中表现出色，但其性能仍会受到培训数据的质量和多样性的影响。

6。多模式AI在特定垂直字段中的深入应用

除上述一般应用外，多模式AI在特定垂直场中还显示出强大的潜力。

医疗健康：

IBM Watson肿瘤学（更新数据）：截至2024年，沃森肿瘤学已在世界各地的300多家医院和医疗机构中使用，可帮助医生诊断和治疗84,000多名患者。沃森肿瘤学可以分析多模式信息，例如患者病历，遗传数据，医疗图像等，并提供个性化的治疗建议。在一项有关乳腺癌的研究中，沃森肿瘤学的诊断一致性率与专家组达到了93％。

Pathai：Pathai是一家使用人工智能执行病理诊断的公司。 Pathai的平台可以分析病理切片的图像，鉴定癌细胞和肿瘤特征，并协助病理学家进行诊断。 Pathai的技术已在几项临床试验中得到了证明，以提高诊断准确性和效率。

手术机器人（例如DA Vinci手术系统）：结合视觉和触觉反馈，以实现高精度的微创手术。在2024年，全球装置的容量超过了8,500辆，累计手术数量超过1200万。

金融服务：

ANT组智能风险控制系统：ANT Group使用多模式AI技术来构建智能风险控制系统，该系统可以分析多模式数据，例如用户交易行为，社交关系，信用记录等，并确定欺诈风险。根据ANT Group发布的数据，其智能风险控制系统的欺诈识别准确率已达到99.9％。

Kensho：Kensho是一家金融技术公司，其平台能够分析多模式数据，例如新闻报告，财务报告，社交媒体等，从而为投资者提供了市场见解和预测。 Kensho的技术已被几家大型投资银行和对冲基金采用。

智能投资顾问：根据用户风险偏好，历史交易数据，市场新闻和其他多模式信息提供个性化的投资组合建议。例如，Betterment Platform管理的资产超过400亿美元（2024年数据）。

零售和电子商务：

亚马逊GO无人商店：亚马逊GO使用多模式AI技术，例如计算机视觉和传感器融合来实现“拿走它并留下”购物体验。客户不需要排队以退房，系统将自动识别产品并扣除资金。截至2024年，亚马逊GO在美国的几家城市开设了数十家商店。

个性化推荐系统：电子商务平台使用多模式AI技术来分析用户的浏览历史记录，购买记录，产品图片，评论和其他多模式数据，向用户推荐个性化产品。根据阿里巴巴发布的数据，其个性化推荐系统可以将产品的点击率提高10％-20％。

虚拟试验/化妆测试：使用AR技术将用户面部/身体图像结合起来，以实现虚拟的尝试/化妆测试效果。例如，Modiface为拥有超过2亿用户的丝芙兰等品牌提供虚拟化妆试验服务。

制造业：

智能质量检查：使用机器视觉和深度学习来检测产品缺陷。例如，在将AI平台应用于电子制造企业之后，缺陷检测率提高到99.5％，而错过的检测率小于0.1％。

预测维护：通过将设备操作数据（例如振动，温度，声音）和历史维护记录结合使用来预测设备故障。例如，西门子Mindsphere平台连接了全球超过500万个工业设备，从而帮助企业减少停机时间。

7。摘要和未来趋势前景

多模式AI处于快速发展的阶段，并且在多个领域显示出巨大的应用潜力。从Wensheng视频到多模式推理，从代理到小型高效模型，多模式AI技术一直在不断改进，并且应用方案一直在不断扩展。

未来趋势：

模型小型化和终端部署：随着模型优化技术的发展，例如量化，修剪，蒸馏等，小规模且高效的模型将被广泛用于端侧设备，以实现较低的潜伏期和较高的隐私保护。智能服务。 MiniCPM-2.6B的成功就是一个很好的例子。

多模式融合的加深：未来的多模式AI模型将更深入地整合来自不同模式的信息，以获得更强的跨模式理解和推理能力。例如，该模型将能够更好地理解图像，文本和音频甚至跨模式知识传递之间的语义关联。

体现智能的兴起：随着机器人技术和传感器技术的发展，代理将与物理世界更加紧密地互动并完成更复杂的任务。自主驾驶，智能家居，工业机器人等领域将带来新的开发机会。

改善的可解释性和可信赖性：侧重于多模式AI的伦理和社会影响，研究人员将致力于改善模型的可解释性，可控性和可信度，从而减少偏见和风险。

垂直字段的深入集成：多模式AI将与特定行业的知识和数据深入融合，以形成更专业，有效的解决方案。例如，多模式AI将在医疗保健，金融，教育等领域发挥更大的作用。

多模式AI的普及：随着技术的成熟度和成本的降低，多模式AI将逐渐在所有领域和层面上流行，成为人们日常生活和工作中必不可少的一部分。

挑战：

数据采集​​和标签：高质量的大规模多模式数据集仍然稀缺，数据标记很昂贵。

算法的鲁棒性和概括能力：在复杂和开放环境中多模型模型的鲁棒性和概括能力仍然需要改善。

道德和安全问题：多模式AI的应用可能会带来隐私泄漏，算法偏见，虚假信息和其他问题，以及相应的道德准则和安全措施需要制定。

计算能力和能耗问题：大型模型培训和推理仍然需要大量计算资源。

作为多模式AI领域的创新者，面向墙壁的智能有望在多模式AI的未来开发中发挥重要作用，其技术优势在小规模和高效的模型中。 MiniCPM-2.6B的成功证明了小规模模型在多模式任务中的潜力，并为终端AI应用程序打开了新的可能性。

作者在夏天之前的最后一篇文章是Benbao要上学，没有时间。感谢您的支持。