Npy

Документация по формату Npy

Ввод	Вывод	Псевдоним
✔	✔

​

Описание

Формат Npy предназначен для загрузки массива NumPy из файла .npy в ClickHouse. Формат файлов NumPy — бинарный формат, используемый для эффективного хранения массивов числовых данных. При импорте ClickHouse рассматривает размерность верхнего уровня как массив строк с одним столбцом.

В таблице ниже приведены поддерживаемые типы данных Npy и соответствующие им типы в ClickHouse:

​

Сопоставление типов данных

Тип данных Npy (INSERT)	Тип данных ClickHouse	Тип данных Npy (SELECT)
i1	Int8	i1
i2	Int16	i2
i4	Int32	i4
i8	Int64	i8
u1, b1	UInt8	u1
u2	UInt16	u2
u4	UInt32	u4
u8	UInt64	u8
f2, f4	Float32	f4
f8	Float64	f8
S, U	String	S
	FixedString	S

​

Пример использования

​

Сохранение массива в формате .npy с помощью Python

import numpy as np
arr = np.array([[[1],[2],[3]],[[4],[5],[6]]])
np.save('example_array.npy', arr)

​

Чтение файла NumPy в ClickHouse

Query

SELECT *
FROM file('example_array.npy', Npy)

Response

┌─array─────────┐
│ [[1],[2],[3]] │
│ [[4],[5],[6]] │
└───────────────┘

​

Выбор данных

Вы можете выбрать данные из таблицы ClickHouse и сохранить их в файл в формате Npy с помощью следующей команды clickhouse-client:

$ clickhouse-client --query="SELECT {column} FROM {some_table} FORMAT Npy" > {filename.npy}

​

Настройки формата