目 录CONTENT
以下是
系列文章
相关的文章
-
mysql5.7使用及原理 第二篇：理论及原理 MySQL的体系结构分为四层：连接层、服务层、存储引擎层和系统文件层。连接层负责客户端与服务器的连接，支持多种编程技术，并引入线程池概念以提高效率。服务层是核心部分，处理包括SQL接口、查询缓存、解析器、优化器等在内的主要功能。存储引擎层负责数据的实际存储与提取，支持多种插件式存储引擎如MyISAM和InnoDB。系统文件层则涉及数据文件、日志文件等物理存储。 运行机制方面，MySQL通过半双工通信协议建立客户端与服务端之间的连接；查询时首先检查缓存，若无则进行语法解析生成解析树，接着由优化器生成最优执行计划，最后执行并返回结果。对于存储引擎，尤其是InnoDB，默认从MySQL 5.6.13版本开始成为首选，它支持事务、外键及行级锁等功能，在高并发读写场景下表现更优。 此外，文章还详细介绍了InnoDB引擎的逻辑存储结构（表空间、段、区、页）及其内存结构（缓冲池、更改缓冲区等），以及B+树索引的工作原理。针对SQL优化、锁定机制（全局锁、表级锁、行级锁）、事务ACID特性保证方式、MVCC实现细节、各种日志类型（错误日志、二进制日志、慢查询日志）的作用及配置方法进行了深入探讨。最后简要提及了主从复制的基本原理及其应用场景。 -
-
elasticsearch安装及使用 第五篇:ES自动补全 本文介绍了如何在Elasticsearch中安装和使用拼音分词器，并详细说明了自定义分词器的配置。首先，文章指导读者查看ES安装与使用的相关文档以完成拼音分词器的安装。接着，通过示例展示了如何创建包含character filters、tokenizer及tokenizer filter三部分的自定义分词器，并给出了测试用例来验证其功能。此外，还演示了如何利用RestClient对Elasticsearch索引进行操作，包括修改mapping映射、批量导入数据以及实现基于自动补全建议的搜索查询。最后，通过代码片段具体呈现了整个过程的操作步骤。
-
elasticsearch安装及使用 第四篇:ES聚合查询 文章介绍了Elasticsearch中的聚合查询功能，用于对文档数据进行统计、分析和运算。主要分为三类：桶（Bucket）聚合、度量（Metric）聚合和管道（Pipeline）聚合。桶聚合用于分组，如TermAggregation按字段值分组，Date Histogram按日期阶梯分组；度量聚合计算数值，包括平均值、最大值、最小值等；管道聚合基于其他聚合结果进一步处理。文章提供了多种DSL语句示例，展示如何执行这些聚合操作，并通过RestClient实现代码解析了聚合结果。此外，还提供了一个实际应用案例，展示了如何动态显示筛选内容的接口实现。
-
elasticsearch安装及使用 第三篇:ES与RestClient 文章介绍了使用Elasticsearch进行全文检索的配置和示例代码。首先，需要在项目中添加Elasticsearch的依赖，并指定版本号。接着，在`application.yml`文件中配置Elasticsearch的连接地址。通过创建一个`ElasticSearchConfig`类来配置`RestHighLevelClient`实例。文章详细说明了如何执行`match_all`查询、全文检索的`match`和`multi_match`查询、`wildcard`模糊查询、精确查询（如`term`和`range`）、布尔查询以及排序、分页和高亮功能。每个查询都包括准备请求、构建DSL、发送请求和解析响应四个步骤。此外，还提供了用于处理搜索请求的`HotelServiceImpl`类的具体实现，展示了如何结合多种查询条件进行复杂的搜索操作。
-
elasticsearch安装及使用 第二篇:ES理论与原理 文章介绍了Elasticsearch（ES）与MySQL的对比，重点讲解了ES中的索引库和文档的CRUD操作。索引库创建时需定义mapping映射属性，包括字段类型、是否创建倒排索引等，并通过PUT请求新增索引库；查询、修改和删除则分别使用GET、PUT或POST以及DELETE方法。对于文档的操作，如新增、查询、修改（全量或增量）、删除也有详细的语法说明。此外，文章还讨论了多种查询方式，例如全文检索（match_all, match, multi_match, wildcard）、精确查询(term, range)、地理坐标查询(geo_bounding_box, geo_distance)及复合查询(function score, bool query)，并解释了如何处理搜索结果，包括排序、分页及高亮显示。最后，针对大规模数据集，提供了深度分页问题的解决方案建议。
-
elasticsearch安装及使用 第一篇:ES安装与使用 本文介绍了在Ubuntu 18.04.5环境下，使用Docker部署单节点Elasticsearch（ES）7.12.1和Kibana 7.12.1的步骤。首先创建一个名为elk的Docker网络，然后拉取ES和Kibana镜像。接着通过一系列Docker命令配置并启动ES服务，包括设置内存大小、监听地址及端口映射等，并确保挂载的数据卷具有适当的权限。随后，部署Kibana并通过指定的Elasticsearch主机进行连接。文章还详细说明了如何安装IK分词器以改善中文分词效果，以及如何扩展自定义词汇。最后，介绍了拼音分词器的安装与基本使用方法。
-
轻松玩转大模型微调——从“通才”到“专才”的速成秘籍 第三篇：显卡算力精算师：你的电脑会不会"爆仓"？ 微调大模型时，显存管理至关重要。即使拥有24GB显存的RTX 3090显卡，也可能无法运行7B参数的模型，因为显存不仅用于存储模型参数，还包括梯度、优化器状态和激活值等。全参数微调一个7B模型需要约94GB显存，而采用LoRA（低秩适应）方法可以将显存需求降至24GB左右，使普通显卡也能胜任。QLoRA通过4-bit量化等技术进一步降低显存占用至<20GB，成为“平民微调神器”。影响显存的主要因素包括Batch Size、Sequence Length和精度选择。为避免显存不足，建议优先使用QLoRA，并合理配置训练参数。
-
轻松玩转大模型微调——从“通才”到“专才”的速成秘籍 第二篇：数据集避坑指南：好教练，先备好“训练计划” 本文探讨了如何为大模型制定科学的“训练计划”——数据集。首先，通过类比短跑教练的训练计划，说明了数据集对模型性能的重要性。接着，介绍了几种常见的训练数据格式，包括Alpaca、ShareGPT和Dolly格式，并解释了不同模型家族所需的特定训练模板。文章还列举了五大数据集常见错误及避坑建议，如任务单一、数据量充足、格式统一、答案长度适中以及数据准确无误。最后，提供了准备训练数据的三步走方法：明确目标、收集/生成数据、格式转换与模板注入，并推荐了一些工具和开源数据集。总结来说，高质量的数据是培养优秀模型的关键。
-
轻松玩转大模型微调——从“通才”到“专才”的速成秘籍 第一篇：模型微调是什么？给"通才AI"上速成培训班！ 文章探讨了AI领域的“通才”与“专才”模型，并介绍了模型微调的概念和技术。通才AI像百科全书，能处理多种任务但缺乏专业深度；而专才AI通过微调在特定领域表现出色。模型微调是通过特定领域数据训练预训练模型，使其具备专业技能。预训练阶段让AI掌握通用知识，微调则使其精通特定任务。主流微调方法包括全量微调、LoRA微调和QLoRA微调，各有优劣。微调解决了通用模型效率低、答案模糊的问题，同时节省成本。微调过程涉及准备领域数据、优化参数和约束输出。最终，微调是实现高效、精准AI应用的高性价比方案。
