安全 - 第97页豆瓜网

第三十七讲：都说InnoDB好，那还要不要使用Memory引擎？

第三十七讲：都说InnoDB好，那还要不要使用Memory引擎？简概引言我在上一篇文章末尾留给你的问题是：两个 group by 语句都用了 order by null，为什么使用内存临时表得到的语句结果里，0 这个值在最后一行；而使用磁盘临时表得 ...

莘度 2025-6-10 19:16

647 0 0

[20241121]测试软软解析遇到的疑惑.txt

[20241121]测试软软解析遇到的疑惑.txt --//测试软软解析遇到的疑惑，就是大量软软解析以及分散执行两者的执行时间差别并不是很大，有点疑惑，展开分析看看。 1.环境： SCOTT@book01p> @ver2 ============================== PORT_STRI ...

哎禹供 2025-6-10 19:15

732 0 0

Paimon Deletion Vector

deletion vector 是通过一组向量, 维护一个文件中被删除的行, 可以理解为一种索引. 这种方式可以以 Merge On Write 的方式, 来避免 Merge On Read 的过程, 从而以写入性能换取读取性能. 对于写少读多, 或者对读取性能有更高要求的场景会 ...

赖珊 2025-6-10 19:14

923 0 0

安装MySQL8数据库

安装MySQL8 MySQL Community Server 社区版本，开源免费，自由下载，但不提供官方技术支持，适用于大多数普通用户。 MySQL Enterprise Edition 企业版本，需付费，不能在线下载，可以试用30天。提供了更多的功能和更完备的技术支持，更 ...

膏包 2025-6-10 19:13

752 0 0

读数据质量管理：数据可靠性与数据质量问题解决之道14普及数据质量

1. 普及数据质量 1.1. 随着企业摄取越来越多的数据，数据分析也逐渐成为企业战略的重要组成部分，对高质量数据的需求只会不断增加，这给数据工程师、分析工程师，甚至数据分析师都带来了压力，要求他们承担起这个重要但富有挑战性的 ...

荪俗 2025-6-10 19:13

36 0 0

AI实现简历筛选助手

背景为什么要使用AI进行简历筛选？ [*]效率： AI工具比人类招聘人员更快地处理简历，减少招聘时间。 [*]减少偏见： AI有助于消除无意识偏见，确保更公平的招聘实践。 [*]成本效益：自动化筛选流程可以显著降低招聘成本。 [*]改进候 ...

吁寂 2025-6-10 19:13

1043 0 0

读数据质量管理：数据可靠性与数据质量问题解决之道13数据沿袭

1. 数据沿袭 1.1. MyDoom的病毒 1.2. 现在，许多团队甚至整个公司都在使用数据，这要求数据管理的方式要更便于合作，同时也更不容许发生错误 1.3. 从采用dbt和Apache Airflow等开源工具来实现数据转换和编排，到使用Snowflake和Dat ...

鞠古香 2025-6-10 19:12

40 0 0

Redis究竟为什么这么快？

Redis为什么这么快？ [*]完全基于内存，数据存在内存中，绝大部分请求是纯粹的内存操作，非常快速，跟传统的磁盘文件数据存储相比，避免了通过磁盘IO读取到内存这部分的开销。 [*]数据结构简单，对数据操作也简单。【Redis中的数据结构 ...

当贵 2025-6-10 19:12

417 0 0

[20241118]NLS_LANG设置问题2.txt

[20241118]NLS_LANG设置问题2.txt --//链接 https://www.itpub.net/thread-2155589-1-1.html上的讨论。 --//PiscesCanon指出： --//NLS_LANG设置错了，如果你的客户端是sqlplus，那么应该是NLS_LANG=.AL32UTF8或者NLS_LANG=AMERICAN_A ...

郦湘云 2025-6-10 19:12

926 0 0

读数据质量管理：数据可靠性与数据质量问题解决之道07异常检测

1. 监控和异常检测 1.1. 在数据方面，所有明面上的测试和数据质量检查都不能完全保护你免受数据宕机的影响 [*]1.1.1. 宕机可能由于各种原因而出现在管道内部和外部的各个阶段 [*]1.1.2. 这些原因通常与数据本身无关 1.2. 要了解 ...

凤患更 2025-6-10 19:12

40 0 0

DolphinScheduler心脏：Quartz的定时任务调度框架深度解析

Quartz是一个开源的Java作业调度框架，它提供了强大的定时任务调度功能。在DolphinScheduler中，Quartz用于实现定时任务的调度和管理。DolphinScheduler通过QuartzExecutorImpl类与Quartz集成，将工作流及其定时管理操作与Quartz调度框架 ...

搁胱 2025-6-10 19:11

964 0 0

高效处理日均5000亿+数据：58集团基于Apache SeaTunnel的数据集成平台架构优化

视频链接：58集团大数据平台基于Apache SeaTunnel的架构演进 https://www.bilibili.com/video/BV19GUPYcEgB/?vd_source=e139ecc995ab936267a7991b9de55f6c 引言在数字化时代，数据已成为企业最宝贵的资产之一。58集团作为中国领先的生 ...

疝镜泛 2025-6-10 19:11

309 0 0

Apache Dolphinscheduler数据质量源码分析

Apache DolphinScheduler 是一个分布式、易扩展的可视化数据工作流任务调度系统，广泛应用于数据调度和处理领域。在大规模数据工程项目中，数据质量的管理至关重要，而 DolphinScheduler 也提供了数据质量检查的计算能力。本文将对 Apac ...

擒揭 2025-6-10 19:11

131 0 0

Pgloader极简教程

目录 [*]简介 [*]安装 [*]安装概述 [*]CentOS编译安装 [*]使用 [*]命令行 [*]配置文件迁移 [*]可能遇到的错误 [*]更多配置参考 [*]总结 [*]引用简介 pgloader是一个数据同步工具，用来将数据从其它地方迁移到postgresql中，支持 ...

煅圆吧 2025-6-10 19:10

103 0 0

读数据质量管理：数据可靠性与数据质量问题解决之道10数据平台

1. 数据平台 1.1. 让你能够从摄取数据到分析数据的整个过程中全面管理数据的技术组合 1.2. 数据平台的要求随着业务的变化而变化 1.3. 数据栈分为6层 [*]1.3.1. ...

零幸 2025-6-10 19:09

38 0 0

读数据质量管理：数据可靠性与数据质量问题解决之道08扩展异常检测

1. Python和机器学习扩展异常检测 1.1. 机器学习有助于大规模数据可观测性和数据监控 [*]1.1.1. 配备了机器学习的检测器可以更灵活地应用到更多的数据表上，从而消除了随着数据仓库或数据湖的增长进行手动检查和手动操作的需要 [*] ...

古修蟑 2025-6-10 19:09

39 0 0

大数据调度组件之Apache DolphinScheduler

Apache DolphinScheduler 是一个分布式易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。主要特性 [*]易于部署，提供四种部署方式，包括Standalone、Clust ...

栓州 2025-6-10 19:09

870 0 0

读数据质量管理：数据可靠性与数据质量问题解决之道04收集与清洗

1. 收集数据 1.1. 数据收集和清洗是生产管道中的第一步 [*]1.1.1. 数据转换和测试则在生产管道中解决数据质量问题 1.2. 在收集数据时，管道的任何地方可能都没有入 ...

柴古香 2025-6-10 19:08

45 0 0

Mysql篇-语句执行计划详解(explain)

概述使用 explain 输出 SELECT 语句执行的详细信息，包括以下信息： [*]表的加载顺序 [*]sql 的查询类型 [*]可能用到哪些索引，实际上用到哪些索引 [*]读取的行数 Explain 执行计划包含字段信息如下：分别是 id、select_type、table、 ...

骛扼铮 2025-6-10 19:08

712 0 0

5.7 与 8.0 对相同文件的 LOAD DATA 语句结果不同

5.7 与 8.0 对相同文件的 LOAD DATA 语句结果不同问题描述某客户现场支持，由MySQL 5.7.21升级MySQL 8.0.25后，通过LOAD DATA导入文件，当同一会话连续导入不同的编码（UTF8/GB18030）文件时会出现乱码。数据库版本未升级之前，相同 ...

斜素欣 2025-6-10 19:08

347 0 0

4848

本版主题

收藏人数

账号		自动登录	找回密码
密码			立即注册

	第三十七讲：都说InnoDB好，那还要不要使用Memory引擎？第三十七讲：都说InnoDB好，那还要不要使用Memory引擎？简概引言我在上一篇文章末尾留给你的问题是：两个 group by 语句都用了 order by null，为什么使用内存临时表得到的语句结果里，0 这个值在最后一行；而使用磁盘临时表得 ... 莘度 2025-6-10 19:16 647 0 0
	[20241121]测试软软解析遇到的疑惑.txt [20241121]测试软软解析遇到的疑惑.txt --//测试软软解析遇到的疑惑，就是大量软软解析以及分散执行两者的执行时间差别并不是很大，有点疑惑，展开分析看看。 1.环境： SCOTT@book01p> @ver2 ============================== PORT_STRI ... 哎禹供 2025-6-10 19:15 732 0 0
	Paimon Deletion Vector deletion vector 是通过一组向量, 维护一个文件中被删除的行, 可以理解为一种索引. 这种方式可以以 Merge On Write 的方式, 来避免 Merge On Read 的过程, 从而以写入性能换取读取性能. 对于写少读多, 或者对读取性能有更高要求的场景会 ... 赖珊 2025-6-10 19:14 923 0 0
	安装MySQL8数据库安装MySQL8 MySQL Community Server 社区版本，开源免费，自由下载，但不提供官方技术支持，适用于大多数普通用户。 MySQL Enterprise Edition 企业版本，需付费，不能在线下载，可以试用30天。提供了更多的功能和更完备的技术支持，更 ... 膏包 2025-6-10 19:13 752 0 0
	读数据质量管理：数据可靠性与数据质量问题解决之道14普及数据质量 1. 普及数据质量 1.1. 随着企业摄取越来越多的数据，数据分析也逐渐成为企业战略的重要组成部分，对高质量数据的需求只会不断增加，这给数据工程师、分析工程师，甚至数据分析师都带来了压力，要求他们承担起这个重要但富有挑战性的 ... 荪俗 2025-6-10 19:13 36 0 0
	AI实现简历筛选助手背景为什么要使用AI进行简历筛选？ []效率： AI工具比人类招聘人员更快地处理简历，减少招聘时间。 []减少偏见： AI有助于消除无意识偏见，确保更公平的招聘实践。 []成本效益：自动化筛选流程可以显著降低招聘成本。 []改进候 ... 吁寂 2025-6-10 19:13 1043 0 0
	读数据质量管理：数据可靠性与数据质量问题解决之道13数据沿袭 1. 数据沿袭 1.1. MyDoom的病毒 1.2. 现在，许多团队甚至整个公司都在使用数据，这要求数据管理的方式要更便于合作，同时也更不容许发生错误 1.3. 从采用dbt和Apache Airflow等开源工具来实现数据转换和编排，到使用Snowflake和Dat ... 鞠古香 2025-6-10 19:12 40 0 0
	Redis究竟为什么这么快？ Redis为什么这么快？ []完全基于内存，数据存在内存中，绝大部分请求是纯粹的内存操作，非常快速，跟传统的磁盘文件数据存储相比，避免了通过磁盘IO读取到内存这部分的开销。 []数据结构简单，对数据操作也简单。【Redis中的数据结构 ... 当贵 2025-6-10 19:12 417 0 0
	[20241118]NLS_LANG设置问题2.txt [20241118]NLS_LANG设置问题2.txt --//链接 https://www.itpub.net/thread-2155589-1-1.html上的讨论。 --//PiscesCanon指出： --//NLS_LANG设置错了，如果你的客户端是sqlplus，那么应该是NLS_LANG=.AL32UTF8或者NLS_LANG=AMERICAN_A ... 郦湘云 2025-6-10 19:12 926 0 0
	读数据质量管理：数据可靠性与数据质量问题解决之道07异常检测 1. 监控和异常检测 1.1. 在数据方面，所有明面上的测试和数据质量检查都不能完全保护你免受数据宕机的影响 []1.1.1. 宕机可能由于各种原因而出现在管道内部和外部的各个阶段 []1.1.2. 这些原因通常与数据本身无关 1.2. 要了解 ... 凤患更 2025-6-10 19:12 40 0 0
	DolphinScheduler心脏：Quartz的定时任务调度框架深度解析 Quartz是一个开源的Java作业调度框架，它提供了强大的定时任务调度功能。在DolphinScheduler中，Quartz用于实现定时任务的调度和管理。DolphinScheduler通过QuartzExecutorImpl类与Quartz集成，将工作流及其定时管理操作与Quartz调度框架 ... 搁胱 2025-6-10 19:11 964 0 0
	高效处理日均5000亿+数据：58集团基于Apache SeaTunnel的数据集成平台架构优化视频链接：58集团大数据平台基于Apache SeaTunnel的架构演进 https://www.bilibili.com/video/BV19GUPYcEgB/?vd_source=e139ecc995ab936267a7991b9de55f6c 引言在数字化时代，数据已成为企业最宝贵的资产之一。58集团作为中国领先的生 ... 疝镜泛 2025-6-10 19:11 309 0 0
	Apache Dolphinscheduler数据质量源码分析 Apache DolphinScheduler 是一个分布式、易扩展的可视化数据工作流任务调度系统，广泛应用于数据调度和处理领域。在大规模数据工程项目中，数据质量的管理至关重要，而 DolphinScheduler 也提供了数据质量检查的计算能力。本文将对 Apac ... 擒揭 2025-6-10 19:11 131 0 0
	Pgloader极简教程目录 []简介 []安装 []安装概述 []CentOS编译安装 []使用 []命令行 []配置文件迁移 []可能遇到的错误 []更多配置参考 []总结 []引用简介 pgloader是一个数据同步工具，用来将数据从其它地方迁移到postgresql中，支持 ... 煅圆吧 2025-6-10 19:10* 103 0 0
	读数据质量管理：数据可靠性与数据质量问题解决之道10数据平台 1. 数据平台 1.1. 让你能够从摄取数据到分析数据的整个过程中全面管理数据的技术组合 1.2. 数据平台的要求随着业务的变化而变化 1.3. 数据栈分为6层 []1.3.1. ... 零幸 2025-6-10 19:09* 38 0 0
	读数据质量管理：数据可靠性与数据质量问题解决之道08扩展异常检测 1. Python和机器学习扩展异常检测 1.1. 机器学习有助于大规模数据可观测性和数据监控 []1.1.1. 配备了机器学习的检测器可以更灵活地应用到更多的数据表上，从而消除了随着数据仓库或数据湖的增长进行手动检查和手动操作的需要 [] ... 古修蟑 2025-6-10 19:09 39 0 0
	大数据调度组件之Apache DolphinScheduler Apache DolphinScheduler 是一个分布式易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。主要特性 []易于部署，提供四种部署方式，包括Standalone、Clust ... 栓州 2025-6-10 19:09* 870 0 0
	读数据质量管理：数据可靠性与数据质量问题解决之道04收集与清洗 1. 收集数据 1.1. 数据收集和清洗是生产管道中的第一步 []1.1.1. 数据转换和测试则在生产管道中解决数据质量问题 1.2. 在收集数据时，管道的任何地方可能都没有入 ... 柴古香 2025-6-10 19:08* 45 0 0
	Mysql篇-语句执行计划详解(explain) 概述使用 explain 输出 SELECT 语句执行的详细信息，包括以下信息： []表的加载顺序 []sql 的查询类型 []可能用到哪些索引，实际上用到哪些索引 []读取的行数 Explain 执行计划包含字段信息如下：分别是 id、select_type、table、 ... 骛扼铮 2025-6-10 19:08 712 0 0
	5.7 与 8.0 对相同文件的 LOAD DATA 语句结果不同 5.7 与 8.0 对相同文件的 LOAD DATA 语句结果不同问题描述某客户现场支持，由MySQL 5.7.21升级MySQL 8.0.25后，通过LOAD DATA导入文件，当同一会话连续导入不同的编码（UTF8/GB18030）文件时会出现乱码。数据库版本未升级之前，相同 ... 斜素欣 2025-6-10 19:08 347 0 0

安全

快速发帖