DevReview #3 O Big Data z Hubertem Chylikiem i Jackiem Byliną - Forever F[r]ame
Dzisiejszy odcinek jest dość nietypowy, ponieważ goszczę aż dwie osoby. A są to moi dobrzy znajomi z czasów studenckich: Huber Chylik oraz Jacek Bylina. Obaj programiści oraz miłośnicy dość świeżego...
View ArticleData scientist – nowy zawód na nowe czasy
Kim jest data scientist? Co to za twór? Jakie języki programowania warto znać, aby pracować w świeżej gałęzi IT - czyli data science?
View ArticleVisualizing GraphFrames in Apache Zeppelin - mSzymczyk Blog
Ciężko czyta się grafy w postaci tekstowej. Znacznie lepsze jest do tego pismo pierwotne jakim są obrazki. Jeśli miałeś kiedyś problem z wizualizacją grafu w bibliotece GraphFrames na Apache Zeppelin...
View ArticleBig Data to 3 słowa - Wiadro Danych
Co to jest w ogóle Big Data? Słyszymy o systemach Big Data, technologiach Big Data, rozwiązaniach Big Data… a nawet o systemach klasy Big Data. Jest to trochę takie słowo wytrych, buzzword które...
View ArticleCzy słonie pływają? Kilka słów o Data Lake - Wiadro Danych
W poprzednim wpisie (Big Data to 3 słowa) wspomniałem z jakimi wyzwaniami mierzy się Big Data. Dotyczy to również architektury. Wykorzystywana wcześniej EDW (Enterprise Data Warehouse) nie pasuje do...
View ArticleProblem małych plików w HDFS - Wiadro Danych
Korzystanie z HDFS bardzo przypomina korzystanie ze zwykłego systemu plików z użyciem terminala. Grupy, uprawnienia, pliki, foldery itp. Bawiąc się kolejnymi technologiami Big Data można zapomnieć się...
View ArticleAzure Data Lake Storage (Gen 2) | Najlepsza usługa do składowania plików dla...
Dzisiaj wstęp do usługi Data Lake Storage. Czyli ewolucja blob storage stworzona pod analizy narzędziami big data, ale nie tylko. Kilka słów o tym jak działa, pare demek i na koniec łączenie się z...
View ArticleDelta Lake w Pigułce (czyli o podróżach w czasie) - Wiadro Danych
Delta Lake zdobywa ostatnio coraz większa popularność. Słychać o nim na konferencjach na całym świecie. W tym artykule przyjrzymy się jakie problemy rozwiązuje.Spis treścihide1Co to Delta Lake?2Jupyter...
View ArticleBig Data - Jak zacząć? - Wiadro Danych
No właśnie. Jak zacząć w świecie Big Data? Przecież tyle tych technologii. Widać to choćby na tym schemacie....
View ArticleApache Spark - 2 Kroki do Lepszej Utylizacji Zasobów - Wiadro Danych
Chcemy, aby nasze aplikacje w Apache Spark wykorzystywały wszystkie przydzielone zasoby. Niestety nie jest to takie proste. Rozproszenie obliczeń niesie za sobą koszty zarządzania zadaniami, a same...
View ArticleO analityce z Pawłem Potasińskim - Patoarchitekci
Tym razem rozmawiamy z Pawłem Potasińskim o analityce. Przewijają się różne zagadnienia - od klasycznych hurtowni po uczenie maszynowe, kompetencje zespołów data science, co powinni wiedzieć...
View ArticleCzy potrzebujesz Big Data? – Piece of Data
Pierwszy wpis na blogu i zarazem mój debiut. Co prawda ten artykuł z .NET powiązany nie jest - ale nie wykluczam w przyszłości i takich z pogranicza .NET – Data ;) Każdy feedback będzie mile widziany.
View ArticleApache Kafka – Niezbędne podstawy teoretyczne
Czym właściwie jest Kafka i jakie są jej zastosowania? Zgodnie z definicją jest to platforma przeznaczona głównie do przetwarzania danych strumieniowo. Ciekawostką jest, że projekt zapoczątkowano w...
View ArticleksqlDB - magia SQL w czasie rzeczywistym - część 1 - Wiadro Danych
ksqlDB to rozwiązanie z rodziny Apache Kafka i Confluent. Pozwala na wykorzystanie języka SQL do definiowania zadań przetwarzania strumieniowego. Wpis ten zaczyna serię o ksqlDB. Spróbujemy zrobić coś...
View Article