Fredrik has Matt Topol and Lars Wikman over for a deep and wide chat about Apache Arrow and many, many topics in the orbit of the language-independent columnar memory format for flat and hierarchical data. What does that even mean? What is the point? And why does Arrow only feel more and more interesting and useful the more you think about deeply integrating it into your systems?

Feeding data to systems fast enough is a problem which is focused on much less than it ought to be. With Arrow you can send data over the network, process it on the CPU - or GPU for that matter- and send it along to the database. All without parsing, transformation, or copies unless absolutely necessary.

Thank you Cloudnet for sponsoring our VPS!

Comments, questions or tips? We are @kodsnack, @tobiashieta, @oferlund and @bjoreman on Twitter, have a page on Facebook and can be emailed at info@kodsnack.se if you want to write longer. We read everything we receive.

If you enjoy Kodsnack we would love a review in iTunes! You can also support the podcast by buying us a coffee (or two!) through Ko-fi.

Links

• Lars
• Matt
• Øredev
• Matt’s Øredev presentations: State of the Apache Arrow ecosystem: How your project can leverage Arrow! and Leveraging Apache Arrow for ML workflows
• Kallbadhuset
• Apache Arrow
• Lars talks about his Arrow rabbit hole in Regular programming
• SIMD/vectorization
• Spark
• Explorer - builds on Polars
• Null bitmap
• Zeromq
• Airbyte
• Arrow flight
• Dremio
• Arrow flight SQL
• Influxdb
• Arrow flight RPC
• Kafka
• Pulsar
• Opentelemetry
• Arrow IPC format - also known as Feather
• ADBC - Arrow database connectivity
• ODBC and JDBC
• Snowflake
• DBT - SQL to SQL
• Jinja
• Datafusion
• Ibis
• Substrait
• Meta’s Velox engine
• Arrow’s project management committee (PMC)
• Voltron data
• Matt’s Arrow book - In-memory analytics with Apache Arrow
• Rapids and Cudf
• The Theseus engine - accelerator-native distributed compute engine using Arrow
• The composable codex
• The standards chapter
• Dremio
• Hugging face
• Apache Hop - orchestration data scheduling thing
• Directed acyclic graph
• UCX - libraries for finding fast routes for data
• Infiniband
• NUMA
• CUDA
• GRPC
• Foam bananas
• Turkish pepper - Tyrkisk peber
• Plopp
• Marianne

Titles

• For me, it started during the speaker’s dinner
• Old, dated, and Java
• A real nerd snipe
• Identical representation in memory
• Working on columns
• It’s already laid out that way
• Pass the memory, as is
• Null plus null is null
• A wild perk
• Arrow into the thing
• So many curly brackets you need to store
• Arrow straight through
• Something data people like to do
• So many backends
• The SQL string is for people
• I’m rude, and he’s polite
• Feed the data fast enough
• A depressing amount of JSON
• Arrow the whole way through
• These are the problems in data
• Reference the bytes as they are
• Boiling down to Arrow
• Data lakehouses
• Removing inefficiency

Fredrik och Kristoffer snackar knappar, musik, och fönsterhantering.

Kom på Kodsnackskväll hos Net Insight i Stockholm 21 februari!

Kristoffer har ett nytt tangenbord med konkavitet, och massor av tumtangenter. Plus dubbla former av trådlöshet, även om blåtand inte fungerar perfekt. Pausernas betydelse för inlärning är stor. Fredrik har ett Stream deck och har efter visst funderande på vad som är användbart att lägga på en separat knappsats längre bort från den vanliga. Fönsterhantering kanske är en bra grej? Och automatisering?

Som avslutning en musikfråga: Finns det någon musikpryl som även den som inte kan något om musik (än?) kan ha glädje av? Kristoffer har solida tips!

Ett stort tack till Cloudnet som sponsrar vår VPS!

Har du kommentarer, frågor eller tips? Vi är @kodsnack, @thieta, @krig, och @bjoreman på Mastodon, har en sida på Facebook och epostas på info@kodsnack.se om du vill skriva längre. Vi läser allt som skickas.

Gillar du Kodsnack får du hemskt gärna recensera oss i iTunes! Du kan också stödja podden genom att ge oss en kaffe (eller två!) på Ko-fi, eller handla något i vår butik.

Länkar

• Kom på Kodsnackkväll hos Net Insight
• Solna business park
• Vretenvägen
• Dygma
• Dygma defy
• Dygma raise
• Ergodox och Moonlander
• Kinesis advantage
• Moergo glove80
• Kaleidoscope - firmware för tangentbord
• QMK
• Atreus
• Keyboardio model 100
• Vagnretur
• Via
• Bazecor - Dygmas UI för att ställa in tangentbord
• Accordion för QMK
• Ben Frain - recenserar tangentbord och har stora händer
• Hands down reference
• Hands down neu
• Dvorak
• Colemak
• Gherkin
• Stream deck
• Moom
• Applescript
• Mission control (och Exposé som var föregångaren)
• Audio hijack
• Loopback
• Fredrik skript som gör Markdownlänkar
• Cot
• Sublime text
• Atkinson hyperlegible
• Ett exempel på typsnitt optimerat för dyslektiker
• Bjarne Stroustrup
• Comic code
• Comic sans
• Rainbow parenthesis för Lisp
• Rainbow brackets för VS code
• Talon - systemet för röststyrning
• Cursorless - byggt på Talon
• Video av Cursoress i aktion
• Iosevka (Kristoffer kör varianten term SS07)
• Input
• Ubuntu mono
• Bartek och Kristoffer snackar musik
• PO-33 K.O!
• Teenage engineering
• Game & watch
• Game boy
• Koala - telefonapp för samplande
• Weekly beats
• Kristoffers weekly beats såhär långt
• M8 tracker
• Lars Underjord
• Minidisc
• Hackbara minidiscspelare

Titlar

• Med reservation för allt
• Jag har ett nytt tangentbord
• En arvskedja
• Konkavitet för varje hand
• Gräva i snön med händerna
• Om man har sexton tumtangenter
• Inåtböjda Trumpfingrar
• Till och med dasslockshänderna
• Qwerty på jobbet
• Muskelminnet från alla layouter
• Röra pekfingrarna inåt
• Träna upp dina lillfingrar
• Tangentbordet tar slut där fingrarna inte är
• Knappar för lite fönsterhantering
• En Kodsnackknapp
• Batcaveknapp
• Tveksamhetstecken
• Kodar på en högre nivå
• En hel familj av tips
• Jag är inte så kraftfull

Fredrik snackar med Björn Wärmedal om Gemini - ett nytt nätverksprotokoll och sidformat på samma nivå som HTTP och HTML. Ungefär. Fast så mycket enklare. Bygg klienter, sidor, och hela servrar som är våldsamt mycket enklare än vad dagens webb är.

Ett stort tack till Cloudnet som sponsrar vår VPS!

Har du kommentarer, frågor eller tips? Vi är @kodsnack, @thieta, @krig, och @bjoreman på Mastodon, har en sida på Facebook och epostas på info@kodsnack.se om du vill skriva längre. Vi läser allt som skickas.

Gillar du Kodsnack får du hemskt gärna recensera oss i iTunes! Du kan också stödja podden genom att ge oss en kaffe (eller två!) på Ko-fi, eller handla något i vår butik.

Länkar

• Webbhuset
• Elm
• Evan Czaplicki - skapare av Elm
• Elm-meetupen
• Björn
• Gemini
• En lång lista Geminimjukvara
• Nätverksprotokoll på samma nivå som HTTP
• Fediverse
• Gemini i Björeman // Melin // Åhs
• Hej (resten av) internet! snackade Gemini i avsnitt 10
• Substack och nazister
• Solderpunk
• Apolloprogrammet
• Mercuryprogrammet
• Geminiprogrammet
• Gopher
• Mime-typer
• text/gemini
• AV-98 - första Geminiklienten, döpt efter AV-98 ingram
• Lynx
• TUI - text-based user interface
• Björns gemlog
• Daniel Stenberg
• Curl
• Antenna
• CAPCOM
• Flounder - plattform med publiceringsformulär på webben
• Molly Brown - server för Gemini skriven i Go
• Gemserv - server i Rust
• IPV6
• RSS
• Atom
• TLS
• TOFU - trust on first use
• CA
• OCSP stapling
• Android 2.1 - från 2009
• TLS 1.3
• Lagrange
• Favicons
• Astrobotany - Geminispelet
• Botany - originalet
• CGI-skript
• Geddit - “Reddit för Gemini”
• Svelte
• Sidan om vingummin

Titlar

• Med huvudet uppe i molnen
• Någonting som heter Gemini
• Ett annat nätverksprotokoll
• Inte optimerat för dagens webb
• Jämföra en myra med en sumobrottare
• Inte avskalad http
• Inget krafs
• 1500 rader
• Gjort för människor
• Kör ett självsignerat cert, byt aldrig
• Lastbilar med extramaterial
• Protokollet är fruset
• Det ska aldrig förändras
• Det finns inga favicons
• Vattna varandras blommor
• Galet mycket snabbare än dn.se
• Nästan ingenting att hämta
• Precis vad som helst på andra sidan
• De är inte många, men de är snälla

Fredrik snackar med Kåre von Geijer om Advent of code … och om språket Zote Kåre skrev och därefter löste årets upplaga i!

Ett stort tack till Cloudnet som sponsrar vår VPS!

Har du kommentarer, frågor eller tips? Vi är @kodsnack, @thieta, @krig, och @bjoreman på Mastodon, har en sida på Facebook och epostas på info@kodsnack.se om du vill skriva längre. Vi läser allt som skickas.

Gillar du Kodsnack får du hemskt gärna recensera oss i iTunes! Du kan också stödja podden genom att ge oss en kaffe (eller två!) på Ko-fi, eller handla något i vår butik.

Länkar

• Advent of code
• Kåre
• Kåres Advent of code-bidrag 2020, 2021, 2022, 2023
• Kodsnacks advent of code-repo för 2023
• Python
• Haskell
• Rust
• Julia
• Kodsnack om Julia med skaparen Stefan Karpinski
• MATLAB
• Z3-biblioteket
• SAT-lösare
• Djikstras algoritm
• Dynamisk programmering
• Kortaste vägen-problem
• NP-kompletta problem
• Zote - Kåres språk
• Betaveros
• Noulith - Betaveros eget språk
• Pipes
• List comprehension
• Jquery och kedjebara funktioner
• Pipes i Julia
• Zote - karaktären
• Hollow knight
• Structs
• Prioritetskö
• Tupler
• Förra avsnittet
• Rust-lifetimes
• Variants och invariants i Rust-lifetimes diskuteras längre ner på länken ovan
• Crafting interpreters
• Kodsnacks Slack
• Shoelace formula (area inuti simpel polygon)
• Picks teorem

Titlar

• Han har gjort saker på häftiga sätt
• Väldigt genomtänkt för sitt område
• Ett bra Matlab, och gratis
• När alla går på ledighet
• Längsta vägen mellan A och B
• En ints-funktion
• Nästa meningsfulla drag
• Det rimliga nästa steget
• Inte det lättaste språket att börja i

Fredrik snackar med Emil Privér om Rust och Emils databasmigreringsverktyg Geni. Vad är trevligt med Rust, vad är svårt att komma in i, och hur blev Emil sugen på att skriva ett CLI-verktyg i Rust över julen?

Ett stort tack till Cloudnet som sponsrar vår VPS!

Har du kommentarer, frågor eller tips? Vi är @kodsnack, @thieta, @krig, och @bjoreman på Mastodon, har en sida på Facebook och epostas på info@kodsnack.se om du vill skriva längre. Vi läser allt som skickas.

Gillar du Kodsnack får du hemskt gärna recensera oss i iTunes! Du kan också stödja podden genom att ge oss en kaffe (eller två!) på Ko-fi, eller handla något i vår butik.

Länkar

• Emil
• Tidigare avsnitt med Emil
• Linode
• Rust
• Advent of code
• Ocaml
• Zig
• Eslint
• Prettier
• Prettiers belöning för en Rust-version
• Ägandeskap i Rust
• Race conditions
• Go
• Async
• Futures
• Closure
• LLVM
• Async traits
• Traits
• Promise
• Makron i Rust
• Wasm - Webassembly
• Leptos
• Solid
• React
• Vue
• Axum - webbserver/runtime för Rust
• Actix
• JSX
• Neovim
• Lazyvim
• lazy.nvim
• Mason för LSP:er
• LSP
• Cody - Sourcegraphs alternativ till Copilot
• CLI
• Turso - libsql - fork på Sqlite
• Dbmate
• Atlas - “manage your database schema as code”
• Geni - Emils migreringsverktyg
• Sidecar för Kubernetes
• Sqlx
• ORM
• Prisma
• Heapen
• Stacken
• Lifetimes i Rust
• Emils Advent of code-dashboard
• Railway
• Fly

Titlar

• Ett skitspråk
• Det här kan rädda världen
• Hur datorn tänker
• Jag gillar strikta språk
• Ett lager ovanpå minnet
• Strikt men trevligt
• En wrapper på Chatgpt
• Det enda du bidrar med är din SQL-kod
• Migreringar kan vara svårt
• Unika migreringar