AI走入海南科技职业大学课堂（十八）
发布时间：2024-10-04 文章来源：信息工程学院官方微信公众号
随着科技的不断发展，人工智能（Artificial Intelligence，AI）技术逐渐渗入各行各业，不断改变人们的工作和生活方式。海南科技职业大学信息工程学院紧跟时代潮流，积极将最新的AI技术加入到教学中，使课堂内容贴近技术前沿，更加新颖有趣，同时也能开拓学生眼界和思维，培养创新精神。近来，祁凯老师在Windows服务器课程中引入了AI技术的教学内容，以AI大模型技术的使用和本地服务配置为例，开展实训任务，让同学们更好的认识和使用AI技术，同时能根据需求进行本地化的配置。
图1 祁老师教学现场
AI大模型技术是近年来在自然语言处理（NLP）领域取得显著进展的技术之一，已经成为了目前研究的热点。它是一种基于深度学习技术构建的大型神经网络模型，在大规模数据集上进行预训练，以学习数据的深层特征和模式。这些模型通常具有数十亿甚至数万亿的参数，能够处理复杂的任务和问题。而且模型会在特定任务上进行微调，以适应不同的应用场景。AI大模型作为一种先进的人工智能技术，在多个领域都展现出了巨大的潜力和应用价值。
祁凯老师在课程中设计了大模型本地服务器的配置实训任务，建立自己的大模型服务器。通过本地部署大模型，避免了数据传输的损耗，大大降低了计算资源的消耗，提高了模型运行效率。用户可以根据自己的需求和场景自主选择AI算法和模型，并对其进行更精细化的调整和优化，AI应用更加灵活和可定制化，避免对云端服务的依赖，确保AI应用的稳定运行，进一步加强数据隐私和安全性。
首先，指导同学们配置服务器环境。为了灵活方便的建立服务器，此处实训任务在虚拟机中执行。创建虚拟服务器时需要保证硬盘空间足够大，建议100G-200G。同时内存容量要足以运行所选的模型，例如运行7B参数量的模型至少需要8GB内存，运行13B参数量的模型至少需要16GB内存，而运行33B参数量的模型则至少需要32GB内存。方便起见，此处使用较小参数量的模型，如3B参数量，虚拟机内存可以设为4GB。虚拟机联网方式配置为桥接，IP地址配置为静态IP，与主机在同一个网段，保证网络畅通。
图2 灵活方便地建立服务器
其次，使用开源的LLM服务工具Ollama在本地环境实验、管理和部署最新大语言模型。学生通过教师提供的安装程序在服务器端安装Ollama，完成后对于常用的系统环境变量参数进行设置。OLLAMA_MODELS参数保存模型文件存放目录，默认目录为当前用户目录，为了避免C盘空间吃紧，修改为其他盘。OLLAMA_KEEP_ALIVE参数保存大模型加载到内存中后的存活时间，默认为5m即5分钟。将其修改为24h，在内存中保持24小时，提高访问速度。
再次，下载和启动模型。指导同学们使用pull命令从Ollama远程仓库完整下载模型文件，模型名称格式为：模型名称:参数规格。Ollama支持多种大语言模型，如Qwen2、Llama3、Phi3、Gemma2等。这里使用llama3.2:3b模型，兼顾数据量与执行效果。完成后使用ollama run命令启动模型，模型会在本地服务器上运行。
图3 下载和启动模型
然后，安装与部署可视化对话界面。借助Open WebUI工具创建可扩展、功能丰富且用户友好的自托管Web界面。同学们先使用教师提供的安装包安装docker desktop，再打开命令提示符，拉取OpenWeb UI的Docker镜像。完成后启动OpenWeb UI容器，并将本地端口映射到容器内的8080端口。等待容器启动完成后，打开浏览器并访问本地300端口就能够看到OpenWeb UI的登录页面。
图4 OpenWeb UI容器
图5 对话测试
最后，指导同学们登录并进行对话测试。查看LLM给出的问题结果是否语句通顺流畅内容正确，上下文连贯。并且测试客户端访问服务器的对话页面，查看服务器是否正常提供服务，网络延迟及性能情况如何。通过这一实训，同学们学到了离线LLM模型的配置和运行，也对LLM在的具体使用有了更加深入的理解。
图6 指导现场
AI大模型技术的不断发展和应用为各行各业带来了巨大的变革和机遇。海南科技职业大学信息工程学院积极开展在课程中融入AI技术的实践探索，努力提升学习效果、推动教育创新。
通过学习和实践AI大模型技术，学生可以探索新的应用场景和工作模式，为未来的创业就业和创新活动积累经验和灵感。学生通过AI大模型的学习和实践，能够了解计算机科学的基本原理和方法，锻炼自己的逻辑思维和问题解决能力，计算思维能力得到培养。通过实际操作和项目实践，学生可以学会如何利用AI大模型处理数据、提取信息并做出合理的决策，激发学生的创新意识和创造力，为未来的职业发展打下坚实的基础。此外，AI大模型技术的新颖性和趣味性也可以激发学生的学习兴趣，更愿意投入时间和精力去学习和探索。在AI大模型的学习过程中，学生需要不断地查找资料、阅读文献和尝试实践。这种学习方式可以培养学生的自主学习能力，使他们能够独立地获取知识和解决问题。
总之，随着AI技术在海南科技职业大学信息工程学院教学过程中越来越广泛的应用，必然进一步提升学生的技术技能和综合素质，促进他们的创新思维、问题解决能力、跨学科融合与协作能力以及自主学习和终身学习能力的发展，培养出更多适应未来社会发展需求的高素质人才。