Формат Apache Arrow IPC Stream (.arrow) представляет собой бинарный формат файлов, разработанный для эффективной передачи и хранения данных, особенно внутри экосистемы Apache Arrow. Это колоночный формат памяти (columnar memory format), что означает организацию данных по столбцам, а не по строкам, что крайне выгодно для аналитических нагрузок. Данный формат обеспечивает совместное использование данных между процессами и системами без копирования (zero-copy), что значительно снижает накладные расходы и повышает производительность. Потоки Arrow IPC обычно используются для передачи больших наборов данных между приложениями, поддерживающими формат Arrow, такими как движки обработки данных, базы данных и фреймворки машинного обучения. Формат включает метаданные, описывающие схему данных, что позволяет осуществлять самодокументированный обмен данными. Он оптимизирован для быстрой сериализации и десериализации, что делает его идеальным для обработки данных в реальном времени и высокопроизводительных вычислений. Формат является языконезависимым, а реализации доступны на различных языках программирования, включая Python, Java, C++ и R. Расширение файла .arrow обычно представляет собой поток данных Arrow, который может быть как одним пакетом (batch), так и последовательностью пакетов, представляющих более крупный набор данных. Формат спроектирован как расширяемый и поддерживает различные типы данных и кодировки.