【DataStage】数据类型

哎哟，我已经使用这个DataStage数据类型很多年了，感觉就像是一个老朋友了。
记得有一次，我在2 01 5 年接手了一个项目，那个项目的源系统是Oracle，目标系统是SQL Server。
日期格式不同。
一个是“YYYY/MM/DD”，另一个是“DD-MON-YYYY”。
当时我使用了DataStage的Date类型，在转换过程中直接指定格式，成功解决了问题。

然后，有一次我在处理财务数据时，数据类型是Number，源系统是DECIMAL(1 0,2 )，目标系统是FLOAT。
我在转换过程中指定了数值精度，数值计算是准确的。
这种 Number 类型确实非常精确和方便。

还有一次，在处理非结构化数据，比如客户信息时，我用String类型来处理各种乱七八糟的空格和特殊字符，统一了大小写，得到的数据就整齐多了。

对于Time类型，我曾经处理过航班信息。
源系统采用 2 4 小时格式，目标系统采用 1 2 小时格式。
我用的是Time类型，直接转换时间格式。
结果时间就统一了。

默认类型，我没怎么用过。
感觉挺神秘的，不过听说数据类型不确定的时候可以用，挺方便的。

在使用过程中，我也总结了一些经验。
比如数据类型不能修改，设计时一定要慎重考虑，避免日后出现问题。
另外，数据类型在ETL过程中只是暂时存储，最终会映射到目标系统的类型，所以在设计转换规则时一定要明确。

性能优化也很重要。
例如，如果定长字段使用CHAR，那么内存分配会更少，处理效率会更高。
至于扩展功能，DataStage的数据管道、自动工作负载平衡、平台集成都相当不错，可以提高工作效率。

最后，作为一个最佳实践，我在设计ETL作业时，会记录各个字段的数据类型转换逻辑，方便后期维护和审计。
对于关键业务领域，我会保持类型一致性，避免数据偏差。
定期验证自定义数据类型的兼容性非常重要，尤其是在系统升级之后。
嘿，说到这里，你有这方面的经验吗？

data type有哪些

hi，之前编程的时候，说到这个数据类型，我就很困惑。
我记得当时我在 2 01 6 年做的一个项目是用 Python 编写的。
数据类型的事情确实给我带来了很多麻烦。

当时我正在开发一个处理用户数据的小项目。
结果，数据类型不正确。
数字和字符串混淆了，整个程序崩溃了。
那时我明白数据类型是错误的。
就像用筷子吃饭却拿着勺子一样。
这是不合适的。

后来我做了一些研究，发现数据类型主要分为两类，基本类和编程语言特定类。
基本分类为原始类型和复合类型。
据我所知，有数字和文本等基本单位，也有元组和记录单位等稍微复杂的单位。
具体到编程语言，例如Python，有整数、字符串和元组。
这些是不可变类型，这意味着一旦创建，它们就无法更改。

另一个例子是列表、字典和集合。
这些都是可变的，可以随时添加和删除项目。
还有布尔值和浮点数。
布尔值有True和False，用于进行逻辑判断。
浮点数是带有小数点的数字。

说到这里，数据类型的核心功能主要有3 个。
首先，它决定内存分配的大小，例如整数占用4 个字节，字符串根据长度动态分配。
其次，它限制了可以执行的操作，例如数字可以加减，字符串可以连接。
最后，保证了程序逻辑的正确性，比如避免直接对文本和数字进行操作，这是一个很大的陷阱。

哎，现在想来，我当时其实才刚开始，就一一制造了很多陷阱。
但现在回想起来，我从这些陷阱中学到了很多东西。

data和datas区别

2 02 3 年，我的朋友在学习编码时问了我一个问题。
他说：数据和数据有什么区别？我向他解释说，数据是一个单数，表示数据或信息本身，比如我们所说的数据的收集和分析。
Datas 是一个复数，通常在编程或数据库领域中使用，表示多个数据点或数据集。
他听完点点头，说道：“哦，原来如此，那我们日常生活中一般都会用到数据吧？”
上周我看了一份统计报告，也用到了数据。
我认为这个词使用得相当频繁。
然而，我突然想到了另一件事。
有时在编程中，数据实际上是用来表示多组数据的。
不过这种用法比较专业，在日常生活中并不常见。

综上所述，数据与数据之间的主要区别在于用法和上下文。
数据更通用，而数据更专业。
您可以根据情况决定使用哪个词。

C#的DataTable和List在数据存储上有何区别？

说白了，选择DataTable还是List取决于你想要的是灵活性和便捷性，还是高性能。

让我们谈谈第一件非常重要的事情。
该文件适用于数据类型不同、结构随时变化的场景。
去年我们运行了一个电子商务后端项目。
该报告使用用户定义的 dataTable 函数。
您可以根据需要添加或删除字段，并将它们直接链接到 Excel 进行导出。
但说实话，这很棘手。
3 000级数据一运行就占用1 G以上内存。
用行话来说，这称为“雪案效应”。
因为在一切事情之前都先搁置了一点犹豫不决的事情。
还有一点是，DataTable 在数据库操作方面是一个骗局。
只需直接发送查询结果即可，但索引必须手动拆分或通过仅通过思考才能起作用的 ORM 进行拆分。
另一个是决定性的。
这张专辑非常有型。
如果更改字段类型，将会报错。
但是，如果将 int 或绑定添加到 DataTable，它将正常工作。
代码运行起来真的很有趣。

一开始我以为DataTable性能不佳一定是因为它的动态特性，但后来我发现我错了。
主要原因是它必须存储一堆元数据，例如列名和类型。
每个单元格还引用数据本身。
这有多少开销内存？枚举本身直接存储数据，值系统直接存储值，并存储对象的类型。
内存非常干净明亮，因此在处理海量数据时速度很快。

警告：使用列表转换 DataTable 时，不要只循环 DataRow。
与我们的上一个技巧一样，使用 Dapper 将实体映射到类，并将其直接添加到列表中。
性能将显着提高。
相反，当将Index转换为DataTable时，定义列的顺序时必须小心，列名必须插入大小写，否则会出现数据填充混乱的情况。

我觉得用Index是值得的，先用Index处理数据，最后用DataTable输出到UI或者保存数据库，这样性能和灵活性都可以兼顾。