7 导入数据

Import grand image4 650px.png

Origin 2019b 添加了一种新的通用数据导入机制，称为 数据连接器。 顾名思义，数据连接器会在您的项目和外部源文件之间创建一个链接。源文件可以是本地文件，也可以在公司网络上；甚至可以在网络服务器上。数据连接器支持的选项包括，在保存项目时排除导入的数据（较小的文件，此外，还能保持源数据的实时链接），以及用于防止意外更改或删除的数据保护。 数据连接器还可以导入以前不可用的数据源，包括 HTML表格 和 JavaScript对象表示法（JSON）。数据连接器支持 拖放 和 在项目打开时自动导入。 此外，OriginLab 将持续扩展连接器以支持新的数据格式。 例如，在 Origin 2021b, 我们为 National Instruments TDMS 和 NetCDF 文件改进了连接器，还增添了新的 Thermo Fisher Scientific MSRawFile 连接器。


其他支持的导入机制:

Contents

升级用户的注意事项

Origin 老用户会注意到所有数据导入操作都已从文件菜单移至新的专用于数据导入的数据菜单。在这里，你还将找到 Origin 最新的数据导入工具 数据连接器。

Import fF Moved.png

数据连接器

Data Connector General Concept.png

数据连接器是一个常规性的，由本地或基于Web的文件和页面将数据导入Origin项目的机制。数据连接器与 Origin 以往的导入方法主要区别在两个默认（但可修改）行为：


数据连接器支持许多常见的数据格式：


如何使用数据连接器导入数据：

  1. 激活您的工作簿，点击数据菜单。
  • 连接到本地或网络文件，请选择连接到文件，然后选择要连接的文件类型。
  • 连接到多个本地或网络文件，请选择连接多个文件。
  • 连接到网页数据，请选择连接到网页，然后输入URL。

有关数据连接器的注意事项

Data Connector Shortcut Menu.png
UG data connector add new.png

†Origin 会对由 数据: 连接到网页 导入的数据缓存一段时间，该时间由 LabTalk 系统变量 @CFDT加上文件大小共同决定。默认地，一个10MB文件会缓存大约24小时。 换句话说，如果重新导入 (就是重新连接到网页文件) 于24小时内，将使用首次导入时缓存的数据。如果在24小时后重新导入到此10MB文件，则将清除缓存并重新导入数据。 要了解如何控制这种缓存行为，请参阅以下主题：

数据源文件路径

数据连接器图标有五种状态：


无论连接器在任何状态下，你都可以单击连接器图标，然后使用 数据源文件路径 和 通用数据路径 来帮助维护 Origin 文件和源数据之间的连接。

UG Common Data Path Dialogs.png

数据导览

当您连接到多页面/多变量文件（如Excel，MATLAB，或者Origin项目）时，工作簿自动增加一个可折叠面板，用于数据导览。

UG data navigator overview.png

数据连接器和拖放

拖放支持 数据：连接到文件 下列出的文件类型。

连接 Text/CSV

您可以使用数据连接器导入本地或网络存储的文本文件（TXT，DAT，CSV）。数据连接器方法适用于这些文件类型，可以简化并解决部分 Origin 以前 X-Function 导入数据的一些问题。 例如，导入日期时间数据始终需要手动配置日期时间列。使用连接器时，如果您的日期时间数据为易于识别的标准格式，则该配置会自动为您完成。


连接到本地或网络驱动器上的文件

  1. 在当前工作簿选择菜单 数据: 连接到文件: Text/CSV。
  2. 浏览选择需要的文件。
  3. 设置 CSV 导入选项。通常，您可以使用默认值，将文件利落地导入，因此作为测试，可尝试用默认值导入数据。如有需要，也可以修改默认设置并重新导入。点击其他选项按钮（在确定的左侧）以获得更多选项。

在此迷你教程中，我们使用 Text/CSV 连接器 导入带有日期时间数据的文本文件。Origin 以往的导入方法将日期时间数据视为文本，要求用户在导入后将日期时间列手动设置为日期格式，但是 Text /CSV 连接器能够在导入时自动配置工作表列。

  1. 点击新建工作簿按钮 Button New Workbook.png 然后选择菜单 数据: 连接到文件: Text/CSV。
  2. 浏览 <Origin Program>\Samples\Import and Export\ 文件夹，然后选择文件 Date with higher precision.dat。
  3. 在 CSV 导入选项 对话框，用默认值并导入数据。
  4. 右击 A 列标题，在菜单中选择 属性。注意 格式 已经自动设置为 日期，显示 已经设置为 自定义显示 并且 自定义显示 已经有一个对应的自定义格式。
Import custom date time.png

在此迷你教程中，我们使用数据连接器导入多个文件。这些结构相同的文件具有我们需要的多行元数据。因此，您将使用 导入向导开发 的导入过滤器文件，导入文件并将文件元数据写到每个工作表中的多个 列标签行 里面。这样，您将看到 (a) 如何使用数据连接器导入多个文件，以及 (b) 如何使用由 Origin 早期版本开发的 导入过滤器文件（*.oif） 和 Origin 新版本的数据连接器来一起导入文件。

  1. 新建一个项目，激活一个工作簿，在菜单选择 数据: 连接多个文件。
  2. 在 files2dc 对话框中设置：
    • 数据连接器 = 导入过滤器
    • 源文件 = 指定文件
    • 文件名称 = <Origin Program>\Samples\Import and Export\S15-125-03.dat, S21-235-07.dat and S32-014-04.dat
    • 导入到同一工作簿 = 启用（选中此复选框会将所有文件合并到一个工作簿中）
  3. 点 确认 然后在随后开启的对话框设置 导入过滤器 = 数据文件夹: VarsFromFileNameAndHeader.oif
  4. 点击 确认 之后三个文件会导入到分别三个工作表中


连接到网页文件:

  1. 选择 数据: 连接到网页。
  2. 如果有文件的 URL，可在 URL 栏中输入。或者可以设置 文件类型 为 Text/CSV (可选，但有助于过滤 最近使用的 URLs)，然后点击 最近使用的 URLs 并从列表中选择。
Connect to web dialog URL.png

导入存储于网页的文件时，您可以像导入本地文件一样指定 部分导入。勾选部分导入复选框，然后按下面指导对想导入的 行 和 列 进行定义。

注意: 要了解有关使用 Text/CSV 连接器的更多信息，请参见 Origin 帮助：

帮助: Origin: Origin 帮助> Text/CSV 连接器

连接到 MATLAB 文件

在 Origin 继续支持旧有的 基于X-Function的Matlab文件导入 的同时，数据连接器对导入本地或者存储在网页中的 Matlab 文件有更多优势：

UG slider or thumb MAT.png


如何连接到一个 MATLAB 文件:

  1. 在工作簿或矩阵簿处于激活状态下，单击 数据: 连接到文件: MATLAB 或者 数据: 连接到网页 然后输入您的 .mat 文件 URL。
  2. 选择要导入的变量（将其添加到浏览器的底部面板）然后按 确认。


注意: 需要进一步了解 JSON/MATLAB 连接器，请参阅 Origin 的帮助:

帮助: Origin: Origin帮助> JSON/MATLAB

连接到 NetCDF 和 Shapefiles

NetCDF 文件格式用于共享多维科学数据。该格式在气候科学中被广泛使用。Shapefile 通常用于存储地理边界和其他地理空间数据。

Import NetCDF Image Map.png


如何连接到一个 NetCDF 文件:

  1. 在工作簿或矩阵簿处于激活状态下，单击 数据: 连接到文件: NetCDF 或者 数据: 连接到网页 然后输入您的 .nc 文件 URL。
  2. 选择要导入的变量（将其添加到浏览器的底部面板）然后按 确认。
  3. 根据需要调整导入选项（铅笔按钮），然后单击“确定”两次。
  4. 如果工作簿处于激活状态，但变量需要矩阵簿，系统会提示添加新的矩阵簿或在当前工作簿嵌入矩阵簿。


如何连接到一个 Shapefile 文件:

  1. 在工作簿或矩阵簿处于激活状态下，单击 数据: 连接到文件: Shapefile 然后浏览选择需要的 .shp 文件。
  2. 设定是否要加载属性 和（可选）编码，或者Convert to WGS84，然后单击 OK。


注意: 需要进一步了解 NetCDF 连接器，请参阅 Origin 的帮助:

帮助: Origin: Origin帮助> NetCDF Connector

连接到云驱动器

Origin 2022 增加了对存储在 MS OneDrive 或者 Google Drive 上的 Origin, MS Excel 和ASCII 文件连接。当建立好帐户凭据后，就能像连接到本地文件那样连接到云文件。

  1. 激活工作簿，单击 数据: 连接到云。这将打开浏览器以选择文件。
  2. 如果需要，使用浏览器的下拉控件切换云服务或帐户。
    Data Connect to Cloud Browser.png
  3. 选好文件，单击 打开。

请注意，首次连接到云帐户时，系统会要求您验证该帐户。OriginLab 将仅使用临时文件在您的云帐户和本地计算机之间访问和传输数据。不会发生其他信息交流。

使用 Excel 数据

在 Origin 中处理 Excel 数据有几种种方法：


注意事项:


注意: 如需了解更多关于如何处理Excel数据的信息，可以查看该Origin帮助文档：

Help: Origin: Origin Help > Working with Microsoft Excel 和 Connecting to File > Excel

Excel 连接器 和 impMSExcel 都支持部分导入 Excel 数据。详细信息请参阅 Origin 帮助文件主题 部分导入和重导数据。

连接到 Excel 文件

Origin 的 数据连接器 能够实时连接外部数据。

Excel connect import options structure.png
  1. 点击 新建工作簿 Button New Workbook.png 按钮去创建一个工作簿，然后选择 数据: 连接到文件: Excel。
  2. 浏览打开 <Origin Program>\Samples\Import and Export\United States Energy (1980-2013).xls。
  3. 在 Excel 导入选项 对话框，接受默认设置，点击确认。
  4. 在工作簿左边的 数据浏览器 面板，按住 CTRL 键并选择其余三个表格(暗淡的)，右击选择添加和连接工作表。剩余的表格 -- Natural Gas，Coal 和 Total Primary Energy -- 被导入到工作簿中。注意，如果未连接的表格尺寸很大，可以选择一次连接一个。

从文件导入

数据: 从文件导入 下列出的导入程序早于数据连接器。尽管这些 从文件导入 程序不会再更新，它们仍然受到支持。

注意，同样地，连接器尚未支持这份表格里的文件类型。如果没有数据连接器，您依然需要数据: 从文件导入 方法。

标准工具栏的 导入单个ASCII文件 按钮 Button Import ASCII.png 现在调用 数据: 连接到文件: Text/CSV 程序。impASC 程序请参阅下一节。

使用 impASC 导入 ASCII 文件

Import data 1.png
注意: 想深度了解 使用 impASC 导入 ASCII文件，请查看 Origin 帮助:

帮助: Origin: Origin帮助> 定制ASCII文件导入设置

保存导入设置

一旦你调整impASC对话框的导入设置，你有两种方法去保存它们：

保存到工作薄模板的话，设置是可移植的（模板可以很容易分享给同事）。保存到主题文件，可以提供一个附加的输入序列到导入菜单（文件：导入）。

如想了解更多关于主题和模板的信息，请查看后续的定制Origin章节。你也可以参看罗列在"参考资料"段落的页面.

你可以从数据菜单下方快速加载您的自定义导入主题。你也可以使用数据：从文件导入：添加/删减文件类型...菜单打开导入菜单自定义对话框来选择和添加用户主题 到数据：从文件导入菜单中。

导入第三方数据

如果某种第三方数据没有对应是 数据连接器 ，你仍然可以使用 Origin 以往的 X-Function 导入程序。其中包括许多广泛使用的格式，如 pClamp, NI TDM, 和 NetCDF。使用这些 X-Function 导入程序，你可以自定义第三方数据的导入设置，并保存在 工作表模板 或者 对话框主题 便于日后再次使用。如其它支持的数据格式一样，你可以通过 拖拽 来导入第三方数据。

文件类型 方法 详见

帮助: Origin: Origin帮助 > Importing and Exporting Data


Thermo (SPC, CGM)
pCLAMP (ABF, DAT, AB?)
Princeton Instruments (SPE)
音频(WAV)
NetCDF (NC)
CDF (CDF)
HDF5 (H5, HE, HDF5)
NI DIAdem (DAT)
Famos (DAT, RAW)
ETAS INCA MDF (DAT, MDF)
IgorPro (PXP, IBW)
Prism (PZFX, XML)
MATLAB (Mat)
Minitab (MTW, MPJ)
KaleidaGraph (QDA)
SigmaPlot (JNB)
MZXML(mzData, mzXML, mzML, imzML)
EarthProbe (EPA)
EDF (EDF, BDF, REC, HYP)
Somat SIE (SIE)
JCAMP-DX (DX, DX1, JDX, JCM)
HEKA (DAT)
SPSS (SAV)
BRUKER OPUS
SAS (sas7bdat)
Tektronix (ISF)
Data Translation (DCF, HPF)
二进制2D阵列 (IMG, B2D)
图像到矩阵

数据：从文件导入： > 导入第三方数据
注意：默认情况下一些第三方文件格式是隐藏的。如要添加，请选择数据：从文件导入：添加/删除文件类型...。这将打开导入菜单自定义对话框，您可以在其中选择要在从文件导入菜单中显示的文件类型。要在菜单命令后插入分隔符，请右键单击右侧面板中的命令，然后选择添加分隔符。 要删除分隔符，请在右侧面板中双击它。

如果对于上述列表的某个文件类型没有对应的数据连接器，拖放功能会用过滤器管理对话框通过文件扩展名管理（选择设置：导入过滤器管理器来打开）。

注意: 要更深入了解 第三方数据，请参阅 Origin 帮助:

帮助: Origin: Origin帮助> 导入第三方数据文件

导入向导

如果想要导入复杂的ASCII文件 -- 那些不适合用之前提到的方法处理的文件 --你可以选择使用交互式的导入向导。二进制数据文件（包含一个可选的的标题部分，并紧接着一个连续的二进制数据结构）也可以使用导入向导:Import Wizard

对 ASCII 数据使用导入向导的另一个优点是，您可以创建针对一组名称相似的数据文件的导入过滤器。当这些文件包含需要以某种方式处理的元数据时，这尤其有用。然后过滤器可用于拖放导入操作，并可添加到数据：从文件导入菜单。您也可以通过设置：导入过滤器管理菜单，查看和编辑这些导入过滤器。


使用导入向导:

  1. 选择数据: 从文件导入: 导入向导... 或者点击标准工具栏 Button Import Wizard.png 按钮。


注意: 如需了解更多，请查看：

帮助: Origin: Origin帮助 > Importing and Exporting Data > The Import Wizard

复制/粘贴剪贴板数据

最简单直接导入数据到Origin的方法是，复制数据到剪贴板然后粘贴到Origin，比如在Excel选择一段数据，然后将它直接粘贴到Origin的工作薄。然而，剪贴板的数据不支持复杂的数据格式，数据排列和数据列分隔。然则，你需要了解以下几件事：

Import data wizard composite resample office 600px.png

通过查询Origin文件选择性导入数据

在数据连接器浏览器中，在导入之前，您可以通过指定类SQL的查询语句选择性地导入外部Origin文件的列数据。

UG Import Origin SQL.png

如何使用Origin连接器选择性查询Origin文件：

  1. 激活一个工作表，选择菜单数据: 连接到文件或者连接到网页。
  2. 选择您的Origin文件，点击打开，这样打开数据连接器浏览器。
  3. 点击选择查询按钮UG Select Query Button.png。
  4. 在选择查询对话框中输入您的查询语句，点击OK。

数据将根据您指定的查询语句选择性地被导入到被激活的工作簿。


常用关键字：

Keyword Description
_SName 短名称，如：_SName, Sheet_SName
_LName 长名称，如：_LName, Book_LName
_Comments 注释，如：_Comments, Sheet_Comments
Column_D1 用户参数，其中1是参数索引
Column_[Name] 用户参数，其中[Name]包括空格的参数名称


示例： 

Select Column from Project where _SName == "A";
Select Column from Project where _Comments like "S*3";
Select Column from Project where (Column_P1 like "*y*" and Column_D1 > 3);
Select Column from Project where Sheet_SName like "Trial*";
Select Column from Project where (Book_SName like "Book*" or Book_LName like "*fit*")


获取更多信息，请参考 Examples of using SQL query condition in Origin Connector。

导入数据库数据

Origin 支持通过 ODBC 和 OLE DB 连接数据库。Origin 另外还有一个简单的 SQL 编辑器，用于在 Origin 中添加连接字符串和生成 SQL 查询。


通过菜单数据：连接到数据库来实现导入数据库数据：

UG database connector dialog.png
  • 连接字符串：用于您已经有一个数据源（ODBC或OLE DB）的连接字符串文本的情况。
  • ODBC数据源：用于您已经通过Windows的ODBC数据源管理员定义了ODBC数据源的情况。
  • ODBC驱动程序：如果您已经有一个ODBC驱动，想要为此数据连接器对象创建数据源应用，那就用这个选项。
  • Windows “数据链接属性”对话框：如果您正在使用基于OLE DB的数据源，例如某些SQL服务器或Access客户端库，请用此选项。


其它需要注意的事项：

DB Save wo data.png
注意： 如需了解更多，请查看这个帮助文档：

帮助: Origin: Origin帮助 > Importing and Exporting Data > Importing Data from a Database

使用图像数字化工具获取和导入数据

有的时候，你可能只有一个数据的图像副本，然后想要进一步探索这些数据。这种情况下，Origin的图像数字化工具将给你带来便利。使用图像数字化工具导入一个图片文件，然后数字化图线，这样你的图片将被转换为数字数据，你便可以使用Origin的绘图和分析工具去重新绘制和分析数据。

Digitizer data import chapter 2.png


如需打开图像数字化工具，请：

  1. 在标准工具栏点击图像数字化按钮Button Digitize Image.png或者选择工具：图像数字化工具...菜单。

保存不包含导入数据的Origin文件

用户长期以来可以选择保存没有数据的Origin文件。 保存模板为...，保存工作簿为分析模板和不带数据保存项目，这三个选项用于保存没有数据的Origin文件，同时保存设置和操作。

从Origin 2019b开始，用户现在可以选择保存Origin文件不包含导入数据。 对于使用大型数据文件的人来说，这是一个特别有吸引力的选择，因为使用项目文件保存导入数据会影响性能或浪费磁盘空间。

Exclude imported when saving.png
Exclude imported when saving Properties dialog.png


'保存时排除数据的行为与保存模板文件的不同在于：

重导数据文件

数据菜单下有两个重导菜单项。

注意：

  • 一次只能重导一个数据文件。当你使用以上任一个重导命令，只有当前激活状态的工作表或者矩阵表关联的数据文件会被重新导入。如果所选的数据来自不同的数据文件，重导会失败。
  • 如果你使用导入向导来导入一个ASCII文件，选择数据：修改导入设置并重导...菜单会打开impASC对话框，而不是导入向导。
  • 重导不适用于那些使用导入向导导入的二进制或者自定义文件。

克隆导入

克隆导入的工作方式是对导入（以及可选的相关分析操作）进行 "建模"，然后将对初始文件执行的操作应用于一系列相似文件。只要当前工作簿包含导入的数据和相关的操作，就可以对其进行克隆。从这个意义上讲，克隆类似于创建一个分析模板 但是力量有所限制 (如不能用在批处理 工具)。


基于 数据连接器 和 X-Function'的导入方法均支持克隆导入。简短的教程将向您展示克隆导入和分析操作的基础。

  1. 点击 新建工作簿 按钮Button New Workbook.png 来创建一个工作簿。
  2. 使用Windows文件资源管理器，浏览到 <Origin Program>\Samples\Curve Fitting 文件夹，找到Sensor01.dat文件。把文件拖进工作簿。.dat 文件会由 Text/CSV Connector导入。
  3. 点选 B 列标题选中该列，然后选散点图 按钮Button Scatter.png 绘制散点图。
  4. 点击图中 X 或者 Y 坐标轴打开 坐标轴 对话框，单击刻度标签，然后按Ctrl并在左侧面板中选择 水平 和 垂直 轴图标。 将调整刻度设置为自动，然后单击确定。
  5. 激活图形后，单击 分析：拟合：线性拟合 并打开对话框。 设置重新计算=自动，接受其他默认设置并单击 确定'。 对 提示消息 回答 否， 然后单击 确定。
  6. 右击您的工作簿选项卡之一，然后单击 添加图形为新的工作表。这将在工作簿中添加具有线性拟合结果的散点图。
    UG clone import add graph.png
  7. 确保包含从 Sensor01.dat 导入数据的工作表处于激活状态，然后在 “导入' 工具栏单击 克隆导入按钮 Button Clone Import.png。
  8. 浏览文件，再一次到 <Origin Program>\Samples\Curve Fitting 文件夹，按Ctrl或Shift并选择文件Sensor02.dat - Sensor07.dat。 单击 添加文件，然后单击 确定。 您应该看到的是，使用原本的工作簿作为导入和分析操作的模型，使用 Text/CSV Connector 导入了 Sensor 文件，并对其进行了一个接一个的处理（所有操作可能需要几秒钟才能完成）。
    UG clone import results.png

知识点扩展