尝试在手机上运行google 最新开源的gpt模型 gemma

Gemma介绍

Gemma简介

Gemma是谷歌于2024年2月21日发布的一系列轻量级、最先进的开放语言模型，使用了与创建Gemini模型相同的研究和技术。由Google DeepMind和Google其他团队共同开发。
Gemma提供两种尺寸的模型权重：2B和7B。每种尺寸都带有经过预训练（pre-trained）和经过指令调制（instruction-tuned）的变体。旨在为开发人员和研究者提供一个“轻量级、最先进的开源模型系列”Gemma提供了2B和7B两种不同规模的版本，每种都包含了预训练基础版本和经过指令优化的版本，并且无需数据量化处理，拥有高达8K tokens的处理能力。

  • 预训练模型可以用于各种自然语言处理任务，例如文本生成、翻译、问答和摘要。
  • 指令调制模型经过微调，可以执行特定任务，例如编写代码、撰写不同类型的创意内容、回答开放式问题等。

Gemma模型可以在您的笔记本电脑、工作站或Google Cloud上运行，并可轻松部署到Vertex AI和Google Kubernetes Engine（GKE）。

Gemma优势

Gemma具有以下优势：

  • 性能领先：Gemma在多个基准测试中都取得了最先进的成果，都优于Meta的Llama 2。
  • 易于使用：Gemma提供简单易用的API，可轻松集成到您的应用程序中。
  • 可扩展性：Gemma可以根据您的需要进行扩展，以满足各种规模的需求。
  • 开放性：Gemma是开源的，您可以自由使用和修改。
  • 模型较小：尽管其参数数量较少，但在关键基准测试中表现出色，并且超过了一些更大的模型。
  • *适用范围广：拥有独特的运行环境，可以在各种类型的设备上工作，包括笔记本电脑、台式机、物联网设备、移动设备以及云端平台等。
  • 与Hugging Face平台无缝集成：可以让AIGC爱好者更好的去使用。

Gemma应用

Gemma可以应用于各种自然语言处理任务，包括：

  • 文本生成
  • 翻译
  • 问答
  • 摘要
  • 代码生成
  • 撰写创意内容
  • 回答开放式问题

总结

Gemma是谷歌发布的一系列轻量级、最先进的开放语言模型，具有性能领先、易于使用、可扩展性和开放性等优势。Gemma可以应用于各种自然语言处理任务，具有广阔的应用前景。

以下是一些Gemma的应用案例：

  • 新闻写作：Gemma可以用于自动生成新闻报道，例如体育比赛的赛况报道、公司财报的分析报道等。
  • 产品描述生成：Gemma可以用于自动生成产品描述，例如电商网站上的商品详情页。
  • 聊天机器人：Gemma可以用于构建聊天机器人，为用户提供个性化的服务。
  • 教育：Gemma可以用于开发教育应用程序，例如帮助学生学习语言或编写代码。

测试环境

  • 硬件环境
    • 小米 11 ultra
    • rk3588 测试板
  • 软件环境
    • 小米11 android 13
    • rk3588 android 13

环境准备

  • 安装最新版 android studio，下载android sdk 需要包含ndk-bundle
    *下载gemma.cpp
  • 设置ANDROID_NDK 路径

模型下载准备

available on kaggle
我下载的是2b-it-sfp模型，选择gemma.cpp可运行版本模型

编译

    git clone --recursive https://github.com/google/gemma.cppcd gemma.cppcmake -G Ninja -Bbuild_ninja_arm64 -DCMAKE_BUILD_TYPE=Release -DCMAKE_TOOLCHAIN_FILE=$ANDROID_NDK/build/cmake/android.toolchain.cmake \
-DANDROID_ABI=arm64-v8a -DANDROID_PLATFORM=android-21 -DANDROID_ARM_NEON=ON -DCMAKE_INSTALL_PREFIX=`pwd`/build_ninja_arm64/android_install -DHWY_ENABLE_TESTS=OFF .cmake --build build_ninja_arm64

拷贝到设备运行

  • 用usb链接计算机，或者使用无线链接到手机
  • 列出设备
adb devicesList of devices attached
172.16.0.89:5555        device
  • 拷贝执行程序和模型
    # 拷贝执行程序adb push ./build_ninja_arm64/gemma /data/local/tmp # 拷贝库adb push build_ninja_arm64/3rdparty/sentencepiece/src/libsentencepiece.so /data/local/tmp# 先解压再拷贝模型tar -xvf gemma_model_2b_cxx_sfp.tar.gzadb push gemma_model_2b_cxx_sfp/2b-it-sfp.sbs /data/local/tmpadb push gemma_model_2b_cxx_sfp/tokenizer.spm /data/local/tmp
  • 运行
    export LD_LIBRARY_PATH=/data/local/tmp/./gemma --tokenizer tokenizer.spm --compressed_weights ./2b-it-sfp.sbs --model 2b-it

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/803646.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【iOS ARKit】AR Quick Look 概述

【iOS ARKit】AR Quick Look 概述

为更好地传播共享 AR 体验，苹果公司引入了 AR Quick Look，并在iOS 12及以上版本系统中深度集成了 AR Quick Look，因此可以通过iMessage、Mail、Notes、 News、 Safari 和 Files 直接体验 AR，AR Quick Look提供了在 iPhone 和iPad …
阅读更多...
排序算法，插入排序

排序算法，插入排序

插入排序是什么 插入排序（Insertion Sort），一般也被称为直接插入排序。对于少量元素的排序，它是一个有效、简单的算法 其主要的实现思想是将数据按照一定的顺序一个一个的插入到有序的表中，最终得到的序列就是已经排…
阅读更多...
隐私计算实训营第九讲-隐语多方安全计算在安全核对的行业实践

隐私计算实训营第九讲-隐语多方安全计算在安全核对的行业实践

隐私计算实训营第九讲-隐语多方安全计算在安全核对的行业实践 文章目录 隐私计算实训营第九讲-隐语多方安全计算在安全核对的行业实践1.业务背景：安全核对产生的土壤1.1相关政策出台1.2 数据差异的来源 2.产品方案：从试点到规模化的路3.技术共建&#xf…
阅读更多...
如何用MATLAB进行核密度估计

如何用MATLAB进行核密度估计

核密度估计（Kernel Density Estimation，KDE）是一种用于估计概率密度函数的非参数方法。以下是核密度估计的基本步骤和公式： 步骤： (1)数据预处理：在进行核密度估计之前，需要对原始数据进行清洗…
阅读更多...
微信小程序报错——“errno“: 600001, “errMsg“: “request:fail -2:net::ERR_FAILED“

微信小程序报错——“errno“: 600001, “errMsg“: “request:fail -2:net::ERR_FAILED“

bug现象 微信小程序体验版和真机调试 进入小程序的时候接口就出现了这个报错 "errno": 600001, "errMsg": "request:fail -2:net::ERR_FAILED" 排查 检查是证书过期还是证书链不完整 证书的信任链完整问题，可以在 亚数信息-SSL/TLS安…
阅读更多...
web安全学习笔记（8）

web安全学习笔记（8）

记一下第十二节课的内容。 一、PHP文件包含的四种方式 Include和Include_once 操作系统会读取包含的文件的内容，并将它插入主文件中，include方式的文件包含会在包含失败的情况下输出警告信息，而include_once方式会检查包含的文件是否已经被…
阅读更多...
Jmeter —— 自动录制脚本

Jmeter —— 自动录制脚本

1、Jmeter配置 1.1新增一个线程组 1.2Jmeter中添加HTTP代理 1.3配置HTTP代理服务器 修改端口 修改Target Cintroller(目标控制器) 修改Grouping(分组) 编辑录制中的包含和排除 在“URL Patterns to include包含模式”中填入.*(123456).*用以过滤请求地址中不包含123456的请求…
阅读更多...
Datacom HCIP笔记-MPLS协议 之二

Datacom HCIP笔记-MPLS协议 之二

在Ingress节点执行该命令时，触发所有的32位路由建立LDPLSP。 在Egress节点执行该命令时，触发本地32位路由建立LDPLSP， egress就是主机路由始发路由器 ingress就是主机路由非始发路由器 默认情况下：华为路由器仅为非物理接口主机路…
阅读更多...
【C++11】initializer_list | 右值引用 | 完美转发

【C++11】initializer_list | 右值引用 | 完美转发

一切皆可列表{ }初始化 在C98,允许花括号{ } 对数组、结构体类型初始化。 class Data { public:Data(int y, int m, int d):_y(y), _m(m), _d(d){} private:int _y;int _m;int _d; };int arr[4]{0,1,2,3};//列表初始化 Data d1{2024,03,21};//列表初始化 C11允许通过{ } 初始化…
阅读更多...
云数据库价格一瞥（华为云、百度智能云、腾讯云、阿里云）

云数据库价格一瞥（华为云、百度智能云、腾讯云、阿里云）

最近，大家似乎和价格“磕”上了。本文仅考虑主流产品（ RDS MySQL、Redis ）的部分主流规格，对各家厂商的价格做一个对比，供参考。 TL;DR： 总体来看，各家云厂商价格趋于持平，部分主流商…
阅读更多...
创建一个qt登录界面，密码账号正确转到窗口2，否则弹出对话框提示账号密码错误，窗口2有四个按键，三个按键可以朗读按键文本，第四个退出。

创建一个qt登录界面，密码账号正确转到窗口2，否则弹出对话框提示账号密码错误，窗口2有四个按键，三个按键可以朗读按键文本，第四个退出。

作业要求： 主函数： int main(int argc, char *argv[]) {QApplication a(argc, argv);Widget w;w.show();Form1 f;//连接窗口1的信号函数和窗口2打开的lambda函数Widget::connect(&w,&Widget::login,[&](){f.show();});return a.exec(); }窗…
阅读更多...
无影云电脑不能连接到本机的调试串口的解决方案

无影云电脑不能连接到本机的调试串口的解决方案

目录 概述 解决方案 云端电脑中的操作 本地USBDK驱动程序的更新 概述 我从1月份开始使用阿里的无影云电脑进行嵌入式开发板的测试，主要的原因有两个：一是平时使用的笔记本资源过于紧张，二是方便移动办公，这样我只要平时拿着开…
阅读更多...
解锁阿里巴巴1688数据宝藏：API助力批量获取商品价格、标题、图片及库存

解锁阿里巴巴1688数据宝藏：API助力批量获取商品价格、标题、图片及库存

在数字化时代，数据已成为商业决策的重要依据。对于电商从业者来说，掌握商品的价格、标题、图片及库存等关键信息，是优化销售策略、提升竞争力的关键。阿里巴巴1688平台作为国内领先的B2B电商平台，其海量的商品数据为商家提供了丰富…
阅读更多...
DRF的认证、权限、限流、序列化、反序列化

DRF的认证、权限、限流、序列化、反序列化

DRF的认证、权限、限流、序列化、反序列化 一、认证 1、直接用，用户授权 实现方法 编写 ->认证组件 应用组件 编写 ->认证组件 from rest_framework.authentication import BaseAuthentication from rest_framework.exceptions import AuthenticationF…
阅读更多...
基于opencv的视觉巡线实现

基于opencv的视觉巡线实现

前言 这段时间在和学弟打软件杯的比赛，有项任务就是机器人的视觉巡线，这虽然不是什么稀奇的事情，但是对于一开始不了解视觉的我来说可以说是很懵了，所以现在就想着和大家分享一下，来看看是如何基于opencv来实现巡线的…
阅读更多...
34. UE5 RPG实现鼠标点击移动

34. UE5 RPG实现鼠标点击移动

在前面，我们实现过使用键盘按键wasd去实现控制角色的移动，现在，我们实现了InputAction按键触发，后面，实现一下通过鼠标点击地面实现角色移动。 我们将实现两种效果的切换，如果你点击地面快速松开&#xff0…
阅读更多...
LeetCode 289.生命游戏————2024 春招冲刺百题计划

LeetCode 289.生命游戏————2024 春招冲刺百题计划

根据 百度百科 ， 生命游戏 ，简称为 生命 ，是英国数学家约翰何顿康威在 1970 年发明的细胞自动机。 给定一个包含 m n 个格子的面板，每一个格子都可以看成是一个细胞。每个细胞都具有一个初始状态： 1 即为 活细胞 &am…
阅读更多...
鹅厂实习offer

鹅厂实习offer

#转眼已经银四了，你收到offer了吗# 本来都打算四月再投实习了，突然三月初被wxg捞了（一年前找日常实习投的简历就更新了下），直接冲了，流程持续二十多天，结果是运气还不错，应该是部门比…
阅读更多...
2024年光学通信和物联网、自动化控制和大数据国际会议(OCITACB2024)

2024年光学通信和物联网、自动化控制和大数据国际会议(OCITACB2024)

2024年光学通信和物联网、自动化控制和大数据国际会议(OCITACB2024) 会议简介 2024年国际光通信与物联网、自动控制和大数据会议（OCITACB2024）的主要目标是促进光通信与物联网、自动管理和大数据领域的研发活动。另一个目标是促进研究人员、开发人员、工…
阅读更多...
用three.js做一个3D汉诺塔游戏（下）

用three.js做一个3D汉诺塔游戏（下）

为桌台添加材质纹理 为物体添加适当的材质纹理，可以使其视觉效果产生质的飞跃。接下来，我们将为桌台添加一种木质纹理，用到的纹理贴图来自Pixabay.com。 我们使用 TextureLoader 来加载纹理贴图，其 load 方法第1个参数为贴图的 URL 字符串，该方法返回一个纹理对象，可直…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023