Uncle Data

This discussion follows Stefanie Molin's evolution from programming novice to core open-source developer. Stefanie shares her transition from R to Python and her approach to creating accessible learning materials for workshops and presentations.

She offers practical insights into open-source development, emphasising how quality documentation drives tool adoption and user engagement. The conversation addresses challenges like balancing contribution time with other responsibilities and staying current with emerging libraries.

Stefanie provides valuable advice for aspiring contributors, highlighting the importance of communication skills and understanding user needs. Her reflections on her engineering journey and upcoming projects offer a realistic look at the collaborative nature of open-source development and the satisfaction that comes from community contribution.

Reading materials:

• 5 Ways to Get Started in Open Source (article): https://stefaniemolin.com/articles/open-source/5-ways-to-get-started-in-open-source/
• How to Set Up Pre-Commit Hooks (article): https://stefaniemolin.com/articles/devx/pre-commit/setup-guide/
• The Real Python Podcast Episode 190: Great Starting Points for Contributing to Open Source: https://realpython.com/podcasts/rpp/190/
• Numpydoc pre-commit hook: https://numpydoc.readthedocs.io/en/latest/validation.html#docstring-validation-using-pre-commit-hook
• Data Morph docs: https://stefaniemolin.com/data-morph/stable/index.html
• Docstringify repo: https://github.com/stefmolin/docstringify
• Her website: https://stefaniemolin.com/
  

Join Merve Noyan as she shares her professional journey from NLP specialist to working with multimodal models at Hugging Face. Merve discusses the evolution of computer vision and explains why vision language models are becoming increasingly important in the AI landscape.Throughout the conversation, she emphasizes how community engagement helps practitioners keep pace with AI's rapid developments and clarifies misconceptions about contributing to open-source projects. For newcomers to the field, Merve offers practical advice focused on hands-on experience and continuous learning rather than following endless tutorials.This discussion provides genuine insights into both the technical aspects of modern machine learning and the collaborative environment that drives innovation at Hugging Face and throughout the open-source ML community.

Gábor Szárnyas from DuckDB Labs sits down with Tomas "Uncle Data" Peluritis to break down why this SQL engine is making waves in data processing. Their chat covers everything from the surprising shift back to local processing and why columnar databases are winning the performance battle, to practical insights on query optimization and the exciting future of WebAssembly in database tech.

The duo dives into real-world applications, comparing DuckDB to Parquet, discussing modern data lakes, and sharing insider knowledge on upcoming support for Iceberg and Delta formats. Whether you're cost-conscious about your data stack or curious about contributing to open source, this conversation delivers both technical depth and accessible explanations that will leave you rethinking your approach to data engineering.

Perfect for data professionals looking to stay ahead of the curve or anyone interested in how modern data tools are evolving beyond traditional paradigms.

This discussion follows Aurimas Griciūnas' professional evolution from MLOps engineering to product leadership. Aurimas shares his approach to teaching technical concepts through hands-on experience and explains why personalized projects lead to better learning outcomes than generic tutorials.

He reflects on his content creation journey and the challenges of maintaining consistency while navigating rapidly changing technology trends. The conversation explores his upcoming AI engineering bootcamp designed specifically for professionals transitioning into AI roles.

Aurimas offers insights into the complexities of AI agents, the MCP framework, and the challenges of cross-agent communication. His practical perspective on building standards and tools in AI engineering provides valuable context for both newcomers and experienced practitioners looking to develop effective solutions in this evolving field.

In this conversation, Brandon Rhodes shares his journey in the Python community, discussing his work on astronomy-related open source projects like PyEphem and Skyfield. We can also hear the intricacies of orbital mechanics, the importance of API design, and the real-world applications of his libraries. Brandon also reflects on the evolution of Python, the significance of practical tutorials, and the art of public speaking, offering insights into his preparation for keynotes and the challenges of engaging an audience.

Šiame pokalbyje Duomenų Dėdė ir Simonas Stonys nagrinėja analitikos ir duomenų inžinerijos evoliuciją, aptardami asmenines patirtis, iššūkius derinant duomenis, duomenų kokybės svarbą ir duomenų vaidmenį verslo sprendimuose. Jie pabrėžia skaidrumo, bendradarbiavimo ir pusiausvyros tarp techninių ir netechninių aspektų svarbą duomenų procesuose. Diskusija taip pat apima duomenų inžinerijos ateitį, automatizavimą ir dirbtinio intelekto poveikį analitikai.

Pagrindinės įžvalgos:

• Kelionė analitikoje dažnai prasideda nuo pagrindinių įrankių, tokių kaip Excel
• Perėjimas nuo analitikos prie inžinerijos gali pagerinti duomenų procesus
• Duomenų suderinimas yra labai svarbus tiksliai ataskaitų teikimui ir sprendimų priėmimui
• Duomenų kokybės supratimas yra būtinas efektyviai analitikai
• Duomenų istorijų pasakojimas padeda netechniniams suinteresuotiesiems asmenims suprasti įžvalgas
• Savarankiška analitika gali įgalinti komandas, bet reikalauja atidaus įgyvendinimo
• Automatizavimas gali žymiai sumažinti rankinį duomenų tvarkymą
• Dirbtinis intelektas turi potencialo racionalizuoti daugelį duomenų užduočių
• Bendradarbiavimas tarp komandų yra gyvybiškai svarbus duomenų sėkmei
• Iteraciniai procesai veda prie geresnių analitikos rezultatų

Šiame epizode Antanas atvirai dalinasi savo profesine kelione ir patirtimis kuriant duomenimis pagrįstą verslą Lietuvoje. Nuo analitiko pozicijos banke, per vadovo pareigas, iki savarankiško produkto kūrimo - išgirsite nuoširdų pasakojimą apie tai, kaip kartais karjeros vingiai nuveda ten, kur visai nesitikėjome.

Antanas atvirai dalinasi tiek sėkmėmis, tiek nesėkmėmis, ir pasakoja, kodėl kartais "mažiau yra daugiau" kuriant technologinį verslą. Ypač įdomu išgirsti apie tai, kaip galima sukurti konkurencingą produktą be milijoninių investicijų į infrastruktūrą, ir kodėl svarbu pirma gerai išanalizuoti rinką, o tik tada pulti kurti produktą.

Šiame pokalbyje su Vilium aptarėme įvairias temas, susijusias su verslumu, pardavimais ir produktų vystymu. Vilius dalinasi savo kelione nuo darbo didžiosiose technologijų įmonėse iki nuosavo verslo kūrimo Lietuvoje, atkreipdamas dėmesį į klaidingus įsitikinimus apie pardavimus ir klientų poreikių supratimo svarbą.

Jie giliai nagrinėja rinkos tendencijas, investavimo strategijas ir duomenų valdymo iššūkius nekilnojamojo turto sektoriuje. Vilius pristato inovatyvius sprendimus, skirtus automatizuoti vartotojų patirtį ir tobulinti vertinimo procesus rinkoje.

Pokalbio metu aptarėme verslo vertės dinamikos sudėtingumą, standartų ir reguliavimų svarbą rinkos vertinime bei iššūkius, su kuriais susiduriama skaitmeninėje erdvėje. Jie aptaria inovatyvius požiūrius į produktų vystymą, duomenų agregavimo ir validavimo svarbą bei programavimo ir inžinerijos mokymų ateitį.

Dialogas pabrėžia praktinių įgūdžių ir asmeninio tobulėjimo svarbą besikeičiančioje rinkos aplinkoje.

Šioje "Uncle Data" podkasto laidoje kalbamės su Eimantu Norkūnu. Pokalbis bus apie tai, kaip vyksta pokyčiai viešajame sektoriuje ir kaip kuriamos efektyvios komandos.

Pokalbio metu aptariame:

* Kaip Eimantas iš privataus sektoriaus perėjo į viešąjį ir kodėl pasirinko šį kelią

* Kokie iššūkiai laukia kuriant efektyvias komandas viešajame sektoriuje

* Kaip atrasti ir išlaikyti žmones, kurie tiki pokyčių galimybe

* Kaip valdyti komandų perdegimą ir išlaikyti aukštą motyvaciją

* Kodėl svarbu turėti "čempionus" skirtingose institucijose

* Kaip kurti pasitikėjimą tarp skirtingų institucijų ir komandų

Įdomu tai, kad pokalbis natūraliai vystėsi nuo viešojo sektoriaus transformacijos iki universalių komandų formavimo principų, atskleidžiant, kad nepriklausomai nuo sektoriaus, pagrindiniai sėkmingo komandinio darbo elementai išlieka tie patys.

Eimanto įžvalgos ir patirtis rodo, kad pokyčiai viešajame sektoriuje yra įmanomi, kai turi tinkamus žmones ir aiškią viziją. Jo pasakojimas apie tai, kaip nedidelės komandos gali pasiekti didelių pokyčių, įkvepia ir motyvuoja.

Pagrindinės įžvalgos:

* Kaip identifikuoti ir pritraukti žmones, kurie nori kurti pokyčius

* Kodėl vidinė motyvacija yra svarbesnė už išorinius stimulus

* Kaip kurti pasitikėjimo kultūrą organizacijoje

* Praktiniai patarimai, kaip valdyti komandos energiją ir išvengti perdegimo

#UncleData #Lyderyste #KomanduValdymas #GovTech #Technologijos #Inovacijos

Summary

Raiko Limmart, CEO and co-founder of LiTech (https://LiTech.app for a prolonged demo, mention Uncle Data!), discusses the importance of data observability and its challenges. He shares his journey into data quality assurance and explains the components of data observability, including data validation, profiling, and cataloguing. Raiko highlights the need for companies to start early with data observability and offers insights into LiTech's services, which automate data validation, detect anomalies, and provide insights on data quality. He also discusses the role of machine learning and AI in data observability and emphasizes the importance of establishing a data culture within organizations.

Takeaways

• Start early with data observability to ensure accurate and reliable analytics and decision-making.
• Data observability is a collaborative process that requires the proper tooling, defined processes, and a data-driven mindset.
• LiTech offers a user-friendly data observability solution that automates data validation, detects anomalies, and provides insights on data quality.
• Companies should prioritize data literacy and SQL skills to implement data observability effectively.
• Establishing a data culture and involving the data team in decision-making is crucial for successful data observability implementation.

Have you ever wondered what happens behind the scenes in organizing conferences? In this episode, we have Aidis and Inga, who are organizers of PyCon LT (probably the biggest Python event in the region!). Tune in to the tips on how to get your talk into the conferences, if Chat GPT can help you write an abstract and description, and what other Python conferences are a must to see!

PyCon Newsletter Registration link:

https://mailchi.mp/33c3df7619af/pyconlt-2019

PyCon.lt Website: https://pycon.lt/2024

Welcome to another engaging episode of our podcast series! In this special edition, we're thrilled to have Tomas Ivanaitis, the head of data engineering at Surfshark and a mentor par excellence. Tomas's journey in the dynamic world of data is about technical growth and nurturing leadership qualities.

🔍 What's Inside:

• Journey Through Data: Tomas unfolds his narrative, transitioning from programming to mastering data engineering.
• Leadership in Data: Gain insights into how data engineering intertwines with effective team management and leadership skills.
• Mentoring the Next Gen: Learn from Tomas's approach to mentorship, shaping the future of data professionals.
• Crafting High-Performance Teams: Discover the art of building and leading powerful data teams in a rapidly evolving tech landscape.

📈 Why Tune In? This episode is more than just a conversation; it's a reservoir of lessons, experiences, and wisdom for anyone passionate about data, leadership, and career development. Don't miss out on these invaluable insights from one of the leading minds in data engineering!

#DataEngineering #CareerGrowth #Leadership #Mentorship #TechPodcast

Join us in this enlightening episode as we sit down with Robert Hodges, a seasoned expert in databases and programming. We delve into the fascinating evolution of programming languages, discussing the rise of Rust, the dominance of Java in the US, and C++'s stronghold in Eastern Europe.

Robert offers a deep dive into ClickHouse, highlighting its unique development in C++ and its seamless integration capabilities with Kafka. We explore the universality of SQL, its enduring relevance, and the challenges its syntax presents, even to seasoned developers.

For those keen on expanding their knowledge, Robert recommends the transformative book "Java Concurrency in Practice" by Brian Goetz, which sheds light on Java's concurrency features and the intricacies of the Java memory model.

We also touch upon the evolution of Perl, drawing parallels with languages like COBOL, and reflect on the invaluable role books have played in the journey of many developers.

Whether you're a database enthusiast, a programming language aficionado, or someone keen on the intricacies of data processing, this episode promises a wealth of insights. Tune in!

In this episode, Niko Korvenlaita and Tomas Peluritis discuss the importance of accurate data processing, the role of data engineers, and the significance of aligning data projects with business needs. They explore data modelling, semantic layers, and the power of metadata in making data more accessible. Plus, discover their top book recommendations for diving into the world of data.

In this enlightening episode of my podcast, join me, Tomas Peluritis, as I engage in a captivating conversation with Rytis Jonas Zolubas, a seasoned data professional. Together, we dive deep into the realm of data consultancy, sharing our collective wisdom and experiences to guide both data consultants and companies seeking consultancy services. Through our dialogue, we explore the pivotal moments that prompt professionals to shift from full-time roles to consultancy, the nuances of consultancy work, effective strategies for client interactions, the dynamics of holiday management in the consultancy world, and the industries that frequently leverage consultancy expertise. Rytis and I offer candid anecdotes, practical advice, and valuable insights, making this episode a must-listen for data enthusiasts considering a consultancy path or businesses in search of external data insights. Tune in to gain a comprehensive understanding of the intricacies of data consultancy from the perspectives of two seasoned industry insiders.

Have you ever wondered what Developer Advocates, DevRel people do? So did I, and I got Brian on a call to talk about it. Interesting to hear his perspectives on different topics, such as Benchmarketing, the "Ice cream" funnel, what's essential for DevRel, and what angles you could pursue in this area.

Check out "Test Themselves" https://www.youtube.com/watch?v=FSy8V-R0_Zw

Subscribe to Brian's Substack, where he covers this topic more deeply:https://bitsondatadev.substack.com/

While doing my podcast in Lithuanian only, I was looking for companies who, in my eyes, should be interesting to talk about how they work. I've heard about Hostinger in different contexts, and one thing led to another, and I'm talking to Valentinas. It was very interesting to hear how they operate, their data teams structure, its position in the company and how the hiring process looks. If you want to hear it yourself - tune in to this episode, and happy listening!

Barbora is an eCommerce business in Lithuania that delivers groceries to your doorstep. For quite a while, it was interesting to me how in such a company, a data team is operating. I approached Andrius some time ago, but then we lost touch (holidays, busy days, etc.), so after a while, we circled back and caught up on all of these topics. As usual, for these kinds of series, we covered structure, ways of working, the hiring process and how the team operates. Happy listening!

Pydantic, I didn't know about this library up until like mid of last year when one candidate sent a task with this library used, then there was a boom in Linkedin that it's being rewritten in Rust for v2. Got my opportunity to talk to its creator Samuel Colvin during PyCon LT 2023. Was a blast for me; listen in on what we talked about!

Corner Case Technologies started to appear in my LinkedIn feed, first because of Python meetups, then because of a Python internship. Stars aligned, and I had an opportunity to talk to Justinas Kuizinas (CTO at Corner Case Technologies) about these things and more!

Visiems tikrai žinomas Lietuvos Bankas, bet bent man jau labai mažai kas žinoma apie jų duomenų komandas. Sprendžiau šią problemą labai paprastai, pasikalbinau Editą, kuri mielai papasakojo ir praplėtė mano žinių akiratį, kokioje duomenų brandumo situacijoje yra Lietuvos Bankas, kaip pasidalinę sritimis, kokį kelią perėjo ir begalę kitų įdomių dalykų. Paklausykit ir jūs.

Labai didelė įmonių grupė. Dariusi savo IPO biržoje ir su tuo daug įdomių straipsnių susijusių matėme ir dar karts nuo karto matome. Žinant įmonės mąstą, labai smalsu išgirsti kaip tokioje įmonėje sudėliotos duomenų komandos, jų atsakomybės ir darbo principai. Iš tikrųjų prieš pokalbį su Paulium negalvojau, kad tokius įrankius jie naudoja ir tikrai likau maloniai nustebintas. Jei norite išgirsti kas mane nustebino - paklausykite ir jūs.

Vienas iš tikrai gerai visiems žinomų startuolių "Trafi". Su manimi sutiko pakalbėti Dominykas Sedleckas, šiuo metu einantis CTO pareigas. Smagu susipažinti ir išgirsti kokius pomėgius turi mano kalbinami žmonės. O jei jau einam prie tinklalaidės reikalų: buvo įdomu sužinoti kokia duomenų komandų istorija šioje įmonėje, kaip vyskta darbinimosi procesai. Smagu visada išgirsti apie įmonių transformacijas ir kaip jos vyksta (arba dėl ko prasidėjo), tad "Trafi" šiuo metu irgi juda prie kitokių duomenų komandos struktūrų ir veikimo principų. Na, o jūs paklausykit patys, kaip jiems sekasi, ką jie veikia.

Spalvinga ir gerai žinoma įmonė Kilo.Health, turinti daugelį produktų.  Man asmeniškai pačiam buvo labai įdomu kaip struktūrizuotos komandos ir  kaip jos dirba. Pamaniau puiki proga išgirsti tai iš Petro Šeikos.

Tęsiu pokalbius su įvairių įmonių atstovais ir duomiuosi jų duomenų  komandų sudėtimis, veikimo principais ir darbinimosi procesais. Šį kartą  pakalbinau Audrių Kučinską iš CarVertical. Asmeniškai labai patiko ką  išgirdau. TIkiuosi patiks ir jums!

Ar buvo kilę minčių, kaip elgtis gavus tokią įdomią, bet sudėtingą užduotį - komandos ir/ar departemento lipdymas nuo nulio? Šią temą ir bandėm pagvildenti su Ryčiu. Paklausykit ir jūs ;) 

Nežinau kaip jums, bet man visada buvo smalsu, kaip darbo procese veikia HR/Recruitment pusė. Į ką atkreipia dėmesį, ką vertėtų, o ko nederėtų daryti. Šiam klausimui atsakyti svečiuose turėjau Karoliną Ustilo-Kačinauskę ir Urtę Savickienę. Pakalbėjom apie rinką, kas vyksta, kokios tendencijos, į ką dėmesį atkreipia in-house recruiter'iai ir kaip į tą žiūri agentūros. Dvi kaip ir tos pačios sferos atstovės, bet su skirtingais požiūriais.

Šiai tinklalaidei pasikvieičiau Gytį Repečką, kad pasidalintų savo mintimis ir požiūriu apie atvirojo kodo programas ir duomenų modeliavimą.

Atvirojo kodo programos tampa kai kurių įmonių pagrindiniu produktu. Pavydžiui Astronomer, Databricks, Preset ir daugelis kitų. Įdomu buvo bendrai sužinoti daugiau informacijos apie tai iš žmonių, kurie daugiau žino. Papildomai dar palietėme kitas temas kaip privatumas ir etiniai socialiniai tinklai.

Bet tinklalaidės pagrindinė tema buvo duomenų modeliavimas. Palietėme daugybę pasirinkimų nuo žvaigždės/snaigės schemų iki Data Vault ar normalizuoto duomenų modelio. Pakalbėjom ir apie lakehouse ir bendrai, kaip ankstesnės tiesos, kurios prasidėjus didžiųjų duomenų erai buvo nurašytos kaip atgyvenos, dabar grįžta atgal.

Gyčio minėtos knygos:

• MEIER, Andreas; KAUFMANN, Michael. (2019) SQL & NoSQL Databases. Wiesbaden: Springer Vieweg. ISBN 978-3-658-24548-1
• W.H. Inmon, Daniel Linstedt, Mary Levins (2019) Data Architecture. A Primer for the Data Scientist. Second Edition. Elsevier. ISBN 978-0-12-816916-2
• Alex Petrov (2019) Database Internals. A deep dive into how  distributed data systems work. O'Reilly Media. ISBN 978-1-4920-4034-7

Pakalbinus Egidijų, norėjosi sužinoti daugiau apie su duomenimis dirbančiais žmones. Tam pakalbinau Eglę su klausimais apie jų naudojamą data stack'ą, pareigybes (pasirodo turi penkis nestandartinius bent mano akimis lygius), kaip jiems sekasi dirbti su Šiaurės ir Pietų Amerikos klientais ir manau visais kitais man bent įdomiais klausimais.

Neslėpsiu, seniai seniai, bandžiau darbintis į šią įmonę. Jau tuomet mane buvo sužavėjusi, kad naudojosi didžiųjų duomenų technologijomis. Būdamas dar pakankamai jaunas, išsigandau iššūkio ir nežinios ir pats nutraukiau procesą, bet apie įmonę ir joje dirbančius žmones girdžių iki šiol. Ši tinklalaidė yra dar kitokio pobūdžio. Labai šiltas ir nuotaikingas pokalbis su Egidijum Pilypu, vienu iš įmonės įkurėjų. Apie įmonės atsiradimo istoriją, pavadinimą, bei jų rinką ir nuo ko viskas prasidėjo. 

Ar jums kaip ir man kyla klausimų ką žmonės ir kaip bendrai veikia Turing College? Mano akimis vienas iš garsesnių data ruošimo platformų. Pakalbinau Giedrių Žebrauską (Head of Education) įvairiais susijusiais klausimas. Jei įdomu ir jums - siūlau pasiklausyti. 

Ar nekilo klausimų, ką veikia debesijos inžinieriai? Kokių sugebėjimų reikia turėti norint tokiu tapti? O Duomenų infrastruktūros inžinierius? Šį kartą į svečius pasikviečiau Saulių Grigaliūną padėti atsakyti į šiuos ir kitus eteryje skambėsiančius klausimus. Smagaus klausymo! 

Pas duomenų dėdę užsuko Tomas Petras Rupšys. Kalbėjome tikrai įdomia tema - duomenų svarba įmonėje iš programuotojo ir vadovo perspektyvos. Labai patiko Tomo požiūris ir pasidalintos mintys. O knygų rekomendacijos... Siūlau ir jums paklausyti ką mes pakalbėjom. 

Naujas formatas, kur kalbinu įvairių duomenų sričių žmones. Šį kartą kalbinu Mašininio mokymosi inžinierių Eligijų Bujoką.

Jo LinkedIn: https://www.linkedin.com/in/eligijus-bujokas-a27676120/
Medium: https://eligijus-bujokas.medium.com/

Užsakomoji laida, pagal pageidavimus klausytojų. Nežinau ar labai į tą pusę nukrypau į kurią tikėjosi jie.

Trumpas intro į kas yra Delta Lake ir tris pagrindinius atvirojo kodo saugojimo formatus (Apache Iceberg, Delta, Apache Hudi)