Size: a a a

Язык программирования Julia / Julia programming language

2021 April 06

RS

Roman Samarev in Язык программирования Julia / Julia programming language
В части автоматизации распознавания таблиц, смысл записей можно вытащить как из названия колонок, так и из состава полей. В значительной степени это автоматизируется. Сейчас, скорее, это работы по автоматизации выравнивания схем данных.

Если схема данных распознана, то построить типовую предсказательную модельку под эту область, тоже особых проблем нет.
источник
2021 April 07

АО

Андрей Оськин... in Язык программирования Julia / Julia programming language
Если кому интересно, то я сейчас пытаюсь возродить пакет https://github.com/JuliaQuant/Timestamps.jl

Это очередная попытка сделать time series формат, но это вектор структур, вместо структуры векторов. То есть по сути это row-major таблица, для некоторых задач оказалось удобнее, чем column based.
источник

АО

Андрей Оськин... in Язык программирования Julia / Julia programming language
Например, в отличие от TimeArray из TimeSeries.jl гетерогенные данные поддерживаются из коробки.
источник

АО

Андрей Оськин... in Язык программирования Julia / Julia programming language
Ну, там много чего ещё оказывается удобным.
источник

RS

Roman Samarev in Язык программирования Julia / Julia programming language
Есть ли красивые примеры использования?
источник

АО

Андрей Оськин... in Язык программирования Julia / Julia programming language
Зависит от того, что называть красивым :-)
Я сделал небольшой прототип бектестинга, который использует этот принцип, получилось очень неплохо.
источник

АО

Андрей Оськин... in Язык программирования Julia / Julia programming language
Основная идея в том, что когда я бегу по времени, то в каждый момент времени у меня есть мои локальные данные: что происходит здесь и сейчас.
источник

АО

Андрей Оськин... in Язык программирования Julia / Julia programming language
В результате никаких аллокаций, очень просто использовать, скорости огромные.
источник

АО

Андрей Оськин... in Язык программирования Julia / Julia programming language
Ну и джойны мне очень нравятся в таком подходе: очень легко данные склеивать, можно протягивать данные по времени (то есть если событие случилось в момент времени t0, то повторить это значение на протяжении нескольких следующих моментов времени) и т.п.
источник

VG

Viktor G. in Язык программирования Julia / Julia programming language
Да, наверное стоит попробовать вынести туда все виды timestamp'ов, которые нагородили в https://github.com/JuliaStats/TimeSeries.jl/issues/482
источник

АО

Андрей Оськин... in Язык программирования Julia / Julia programming language
+
источник

АО

Андрей Оськин... in Язык программирования Julia / Julia programming language
Довольно забавно, я поиграл с Tables.jl, теперь можно перегонять DataFrame -> TimeArray -> TimestampArray
источник

АО

Андрей Оськин... in Язык программирования Julia / Julia programming language
Название мне правда не нравится, но это потом можно переделать.
источник

VG

Viktor G. in Язык программирования Julia / Julia programming language
Просто у меня это обсуждение уже целиком в голове не помещается - слишком много всего)
Поэтому было бы полезно убрать часть функционала в другой пакет.
источник

АО

Андрей Оськин... in Язык программирования Julia / Julia programming language
Смысл в том, что можно будет (правда довольно дорого) переводить row-major в column-major и работать с тем, что удобнее.
источник

АО

Андрей Оськин... in Язык программирования Julia / Julia programming language
Есть кстати ещё Temporal.jl, который правда немного подзаброшен похоже.
источник

VG

Viktor G. in Язык программирования Julia / Julia programming language
Для начала разобраться бы с разными типами для массивов с метками времени, свести их под один интерфейс...
источник

АО

Андрей Оськин... in Язык программирования Julia / Julia programming language
Просто мне такой тип нужен здесь и сейчас, поэтому я в experimental mode бабахаю всё, что нужно.

Наверное, кучу полезной функциональности терять по дороге, так что получается немного messy
источник

AP

Alexander Plavin in Язык программирования Julia / Julia programming language
а какие вообще специфичные функции предполагаются для временных рядов, по сравнению с другими наборами данных?
источник

AP

Alexander Plavin in Язык программирования Julia / Julia programming language
это structarrays делает для таблиц с любого рода данными
источник