安全 - 第100页豆瓜网

读数据工程之道：设计和构建健壮的数据系统31安全和隐私

1. 安全和隐私 1.1. 安全在数据工程的执行层面至关重要 [*]1.1.1. 安全需要成为一种思想和行动的习惯 [*]1.1.2. 安全是隐私立足的根本 1.2. 数据安全是数据工程师在其工作和数据工程生命周期的每个阶段需要考虑的首要问题 [*]1. ...

姊囝 2025-6-10 18:30

54 0 0

SQL Server 数据太多如何优化

大家好，我是 V 哥。讲了很多数据库，有小伙伴说，SQL Server 也讲一讲啊，好吧，V 哥做个听话的门童，今天要聊一聊 SQL Server。在 SQL Server 中，当数据量增大时，数据库的性能可能会受到影响，导致查询速度变慢、响应时间变长等问题 ...

亢安芙 2025-6-10 18:29

799 0 0

推动企业数字化转型的三驾马车：DataOps与DevOps、MLOps的关系及其重要性

在当今快速发展的技术领域，DevOps、DataOps和MLOps成为了推动企业数字化转型的三大核心实践。它们各自关注不同的领域，但又相互关联，共同推动着软件和数据的高效开发与运营。 DevOps：软件开发的加速器 DevOps是一种将开发（Developm ...

庾签 2025-6-10 18:22

84 0 0

【GreatSQL优化器-01】const_table

【GreatSQL优化器-01】const_table 一、const_table介绍 GreatSQL的优化器主要用JOIN类来进行处理SQL语句的，JOIN类有以下四个table数量相关的成员变量。其中const_tables是optimize最开始就检查并且标识的，因为这样可以把记录最少的 ...

捡嫌 2025-6-10 18:20

879 0 0

[20241107]nocache的编译.txt

[20241107]nocache的编译.txt --//原来的测试环境不存在，需要建立nocache工具了解文件缓存情况，学习OS相关知识。 --//实际上linux对这些工具从应用角度讲不重要，如果有用，linux实用程序里面应该包含类似工具。可惜一直不提供。 --// ...

褐洌 2025-6-10 18:19

516 0 0

达梦数据库DM Exception字符串截断错误，略坑~

前言我之前在使用达梦数据库的时候，遇到了很多很多的问题，主要对达梦数据库也不是很熟悉，它的语法和我所熟悉的mysql和postgresql有很大的区别。今天，讲一下我之前遇到的一个问题。这个问题的起因是用达梦数据库迁移工具，将数据库从p ...

锟及 2025-6-10 18:19

440 0 0

hive基础知识分享(三)

写在前面今天继续学习hive部分的知识。 Hive中如何实现行列转换 [*]一行变多行可以对表使用 LATERAL VIEW EXPLODE()，也可以直接使用 EXPLAIN() 函数来处理一行数据。 [*]多行变一行使用 GROUP BY + COLLECT_SET/COLLECT_LIST： ...

官厌 2025-6-10 18:18

175 0 0

劫持微信聊天记录并分析还原 —— 访问数据库并查看聊天记录（五）

[*]本工具设计的初衷是用来获取微信账号的相关信息并解析PC版微信的数据库。 [*]程序以 Python 语言开发，可读取、解密、还原微信数据库并帮助用户查看聊天记录，还可以将其聊天记录导出为csv、html等格式用于AI训练，自动回复或备份等 ...

皇甫佳文 2025-6-10 18:18

968 0 0

面试：什么是死锁，如何避免或解决死锁；MySQL中的死锁现象，MySQL死锁如何解决

文章目录前言一、死锁 [*]1.1 什么是死锁 [*]1.2 死锁产生的四个必要条件 [*]1.3 模拟产生死锁的代码 [*]1.4 死锁的产生原因二、如何避免或解决死锁 [*]2.1 死锁预防 [*]2.2 死锁避免 [*]2.3 死锁检测 [*]2.4 死锁解除三、数据库锁 ...

涂流如 2025-6-10 18:18

939 0 0

读数据工程之道：设计和构建健壮的数据系统33未来

1. 未来 1.1. 运营的优先级和最佳实践与技术可能会改变，但生命周期的主要阶段会在许多年内保持不变 1.2. 随着组织以新的方式利用数据，将需要新的基础、系统和工作流来满足这些需求 1.3. 如果工具变得更容易使用，数据工程师就会 ...

毡轩 2025-6-10 18:18

36 0 0

精选 Top10 开源调度工具，解锁高效工作负裁自动化

在大数据和现代 IT 环境中，任务调度与工作负载自动化（WLA）工具是优化资源利用、提升生产效率的核心驱动力。随着企业对数据分析、实时处理和多地域任务调度需求的增加，这些工具成为关键技术。本文将介绍当前技术发展背景下的Top 10 ...

颛孙中 2025-6-10 18:17

562 0 0

mysql（Error_code: 1032）原因与通用修复方案

碰到MYSQL常见的1032错误，从库复制异常。通过show slave status\G 命令也能看到对应的报错（处理时忘记截图了）。通过报错我们可以去主库找到binlog中具体的报错。 mysqlbinlog --no-defaults -v -v --base64-output=DECODE-ROWS mys ...

周冰心 2025-6-10 18:17

632 0 0

SqlServer 分页学习

在B站上看到一个分页视频，老师讲的挺好，记录下来。想看原视频的可以去B站 --1.建立Students表 CREATE TABLE students ( ID INT PRIMARY KEY IDENTITY(1,2), NAME NVARCHAR(50) NOT NULL, SEX CHAR(6) CHECK (SEX IN ('Mal ...

丘娅楠 2025-6-10 18:16

112 0 0

Redis

Redis概念和基础 Redis是一种支持key-value等多种数据结构的存储系统。可用于缓存，事件发布或订阅，高速队列等场景。支持网络，提供字符串，哈希，列表，队列，集合结构直接存取，基于内存，可持久化。什么是Redis Redis是一款内存高 ...

馑妣窟 2025-6-10 18:16

396 0 0

读数据工程之道：设计和构建健壮的数据系统32序列化和云网络

1. 序列化 1.1. 仅仅通过从CSV转换到Parquet序列化，任务性能就提高了上百倍 1.2. 基于行的序列化 [*]1.2.1. 基于行的序列化是按行来组织数据 [*]1.2.2. 对于那些半结构化的数据（支持嵌套和模式变化的数据对象），基于行的序 ...

宋子 2025-6-10 18:15

37 0 0

PostgreSQL中将对象oid和对象名相互转换

PostgreSQL中将对象oid转为对象名使用pg的内部数据类型将对象oid转为对象名，可以简化一些系统视图的关联查询。数据库类型转换对应类型的oid 可以用以下数据库类型转换对应类型的oid（以pg12为例）对应关系创建测试数据基于如上 ...

梨恐 2025-6-10 18:14

522 0 0

指标+AI+BI：构建数据分析新范式丨2024袋鼠云秋季发布会回顾

10月30日，袋鼠云成功举办了以“AI驱动，数智未来”为主题的2024年秋季发布会。大会深度探讨了如何凭借 AI 实现新的飞跃，重塑企业的经营管理方式，加速数智化进程。作为大会的重要环节之一，袋鼠云数栈产品经理潮汐带来了题为《指标+AI ...

申倩语 2025-6-10 18:13

820 0 0

读数据工程之道：设计和构建健壮的数据系统34读后总结与感想兼导读

1. 基本信息数据工程之道：设计和构建健壮的数据系统 [*][美]乔·里斯(Joe Reis),[美]马特·豪斯利(Matt Housley)著 [*]机械工业出版社,2024年2月出版 1.1. 读薄率书籍总字数473千字，笔记总字数109584字。读薄率109584÷473000 ...

孓访懔 2025-6-10 18:13

734 0 0

读数据工程之道：设计和构建健壮的数据系统29分析

1. 合作角色 1.1. 数据分析师 1.2. 数据科学家 1.3. MLOps/机器学习工程师 1.4. 业务侧 [*]1.4.1. 数据或非技术的利益相关者、经理和高管 1.5. 数据工程师更多的是在支持这些利益相关者的工作，不一定对数据的最终使用方式负责 ...

电棘缣 2025-6-10 18:12

30 0 0

第三十四讲：join语句怎么优化？

第三十四讲：join语句怎么优化？简概：万年不变的开头在上一篇文章中，我和你介绍了 join 语句的两种算法，分别是 Index Nested-Loop Join(NLJ) 和 Block Nested-Loop Join(BNL)。我们发现在使用 NLJ 算法的时候，其实效果还是 ...

况雪柳 2025-6-10 18:12

894 0 0

4848

本版主题

收藏人数

账号		自动登录	找回密码
密码			立即注册

安全

快速发帖

浏览过的版块

	读数据工程之道：设计和构建健壮的数据系统31安全和隐私 1. 安全和隐私 1.1. 安全在数据工程的执行层面至关重要 []1.1.1. 安全需要成为一种思想和行动的习惯 []1.1.2. 安全是隐私立足的根本 1.2. 数据安全是数据工程师在其工作和数据工程生命周期的每个阶段需要考虑的首要问题 []1. ... 姊囝 2025-6-10 18:30* 54 0 0
	SQL Server 数据太多如何优化大家好，我是 V 哥。讲了很多数据库，有小伙伴说，SQL Server 也讲一讲啊，好吧，V 哥做个听话的门童，今天要聊一聊 SQL Server。在 SQL Server 中，当数据量增大时，数据库的性能可能会受到影响，导致查询速度变慢、响应时间变长等问题 ... 亢安芙 2025-6-10 18:29 799 0 0
	推动企业数字化转型的三驾马车：DataOps与DevOps、MLOps的关系及其重要性在当今快速发展的技术领域，DevOps、DataOps和MLOps成为了推动企业数字化转型的三大核心实践。它们各自关注不同的领域，但又相互关联，共同推动着软件和数据的高效开发与运营。 DevOps：软件开发的加速器 DevOps是一种将开发（Developm ... 庾签 2025-6-10 18:22 84 0 0
	【GreatSQL优化器-01】const_table 【GreatSQL优化器-01】const_table 一、const_table介绍 GreatSQL的优化器主要用JOIN类来进行处理SQL语句的，JOIN类有以下四个table数量相关的成员变量。其中const_tables是optimize最开始就检查并且标识的，因为这样可以把记录最少的 ... 捡嫌 2025-6-10 18:20 879 0 0
	[20241107]nocache的编译.txt [20241107]nocache的编译.txt --//原来的测试环境不存在，需要建立nocache工具了解文件缓存情况，学习OS相关知识。 --//实际上linux对这些工具从应用角度讲不重要，如果有用，linux实用程序里面应该包含类似工具。可惜一直不提供。 --// ... 褐洌 2025-6-10 18:19 516 0 0
	达梦数据库DM Exception字符串截断错误，略坑~ 前言我之前在使用达梦数据库的时候，遇到了很多很多的问题，主要对达梦数据库也不是很熟悉，它的语法和我所熟悉的mysql和postgresql有很大的区别。今天，讲一下我之前遇到的一个问题。这个问题的起因是用达梦数据库迁移工具，将数据库从p ... 锟及 2025-6-10 18:19 440 0 0
	hive基础知识分享(三) 写在前面今天继续学习hive部分的知识。 Hive中如何实现行列转换 []一行变多行可以对表使用 LATERAL VIEW EXPLODE()，也可以直接使用 EXPLAIN() 函数来处理一行数据。 []多行变一行使用 GROUP BY + COLLECT_SET/COLLECT_LIST： ... 官厌 2025-6-10 18:18 175 0 0
	劫持微信聊天记录并分析还原 —— 访问数据库并查看聊天记录（五） []本工具设计的初衷是用来获取微信账号的相关信息并解析PC版微信的数据库。 []程序以 Python 语言开发，可读取、解密、还原微信数据库并帮助用户查看聊天记录，还可以将其聊天记录导出为csv、html等格式用于AI训练，自动回复或备份等 ... 皇甫佳文 2025-6-10 18:18 968 0 0
	面试：什么是死锁，如何避免或解决死锁；MySQL中的死锁现象，MySQL死锁如何解决文章目录前言一、死锁 []1.1 什么是死锁 []1.2 死锁产生的四个必要条件 []1.3 模拟产生死锁的代码 []1.4 死锁的产生原因二、如何避免或解决死锁 []2.1 死锁预防 []2.2 死锁避免 []2.3 死锁检测 []2.4 死锁解除三、数据库锁 ... 涂流如 2025-6-10 18:18 939 0 0
	读数据工程之道：设计和构建健壮的数据系统33未来 1. 未来 1.1. 运营的优先级和最佳实践与技术可能会改变，但生命周期的主要阶段会在许多年内保持不变 1.2. 随着组织以新的方式利用数据，将需要新的基础、系统和工作流来满足这些需求 1.3. 如果工具变得更容易使用，数据工程师就会 ... 毡轩 2025-6-10 18:18 36 0 0
	精选 Top10 开源调度工具，解锁高效工作负裁自动化在大数据和现代 IT 环境中，任务调度与工作负载自动化（WLA）工具是优化资源利用、提升生产效率的核心驱动力。随着企业对数据分析、实时处理和多地域任务调度需求的增加，这些工具成为关键技术。本文将介绍当前技术发展背景下的Top 10 ... 颛孙中 2025-6-10 18:17 562 0 0
	mysql（Error_code: 1032）原因与通用修复方案碰到MYSQL常见的1032错误，从库复制异常。通过show slave status\G 命令也能看到对应的报错（处理时忘记截图了）。通过报错我们可以去主库找到binlog中具体的报错。 mysqlbinlog --no-defaults -v -v --base64-output=DECODE-ROWS mys ... 周冰心 2025-6-10 18:17 632 0 0
	SqlServer 分页学习在B站上看到一个分页视频，老师讲的挺好，记录下来。想看原视频的可以去B站 --1.建立Students表 CREATE TABLE students ( ID INT PRIMARY KEY IDENTITY(1,2), NAME NVARCHAR(50) NOT NULL, SEX CHAR(6) CHECK (SEX IN ('Mal ... 丘娅楠 2025-6-10 18:16 112 0 0
	Redis Redis概念和基础 Redis是一种支持key-value等多种数据结构的存储系统。可用于缓存，事件发布或订阅，高速队列等场景。支持网络，提供字符串，哈希，列表，队列，集合结构直接存取，基于内存，可持久化。什么是Redis Redis是一款内存高 ... 馑妣窟 2025-6-10 18:16 396 0 0
	读数据工程之道：设计和构建健壮的数据系统32序列化和云网络 1. 序列化 1.1. 仅仅通过从CSV转换到Parquet序列化，任务性能就提高了上百倍 1.2. 基于行的序列化 []1.2.1. 基于行的序列化是按行来组织数据 []1.2.2. 对于那些半结构化的数据（支持嵌套和模式变化的数据对象），基于行的序 ... 宋子 2025-6-10 18:15 37 0 0
	PostgreSQL中将对象oid和对象名相互转换 PostgreSQL中将对象oid转为对象名使用pg的内部数据类型将对象oid转为对象名，可以简化一些系统视图的关联查询。数据库类型转换对应类型的oid 可以用以下数据库类型转换对应类型的oid（以pg12为例）对应关系创建测试数据基于如上 ... 梨恐 2025-6-10 18:14 522 0 0
	指标+AI+BI：构建数据分析新范式丨2024袋鼠云秋季发布会回顾 10月30日，袋鼠云成功举办了以“AI驱动，数智未来”为主题的2024年秋季发布会。大会深度探讨了如何凭借 AI 实现新的飞跃，重塑企业的经营管理方式，加速数智化进程。作为大会的重要环节之一，袋鼠云数栈产品经理潮汐带来了题为《指标+AI ... 申倩语 2025-6-10 18:13 820 0 0
	读数据工程之道：设计和构建健壮的数据系统34读后总结与感想兼导读 1. 基本信息数据工程之道：设计和构建健壮的数据系统 [][美]乔·里斯(Joe Reis),[美]马特·豪斯利(Matt Housley)著 []机械工业出版社,2024年2月出版 1.1. 读薄率书籍总字数473千字，笔记总字数109584字。读薄率109584÷473000 ... 孓访懔 2025-6-10 18:13 734 0 0
	读数据工程之道：设计和构建健壮的数据系统29分析 1. 合作角色 1.1. 数据分析师 1.2. 数据科学家 1.3. MLOps/机器学习工程师 1.4. 业务侧 []1.4.1. 数据或非技术的利益相关者、经理和高管 1.5. 数据工程师更多的是在支持这些利益相关者的工作，不一定对数据的最终使用方式负责 ... 电棘缣 2025-6-10 18:12* 30 0 0
	第三十四讲：join语句怎么优化？第三十四讲：join语句怎么优化？简概：万年不变的开头在上一篇文章中，我和你介绍了 join 语句的两种算法，分别是 Index Nested-Loop Join(NLJ) 和 Block Nested-Loop Join(BNL)。我们发现在使用 NLJ 算法的时候，其实效果还是 ... 况雪柳 2025-6-10 18:12 894 0 0