Big Data i analiza danych – bardzo krótki wstęp

Tak ponieważ ukazał się na podobny temat artykuł na Z3S i ponieważ może to się komuś bardzo przydać:

Wikipedia: [ENG] [PL]

A żeby nie było smutno odsyłam również do komiksów z Dilbertem.

No dobrze.A jak to teraz zastosować np. w inżynierii materiałowej i inżynierii w ogóle ?

  • Analiza zużycia produktów i ich cyklu życia
  • Zwiększenie liczby sensorów i większy nadzór nad procesem produkcyjnym
  • Lepsze zarządzanie bazami materiałowymi (materiałów inżynierskich są tak naprawdę miliony)
  • Wykrywanie ukrytych wzorców
  • Optymalizacja
  • Projektowanie precyzyjne

Narzędzia analityczne:

Prostsze narzędzia analizy danych [ENG] – przykłady:

Ponadto:

Reklamy

Nowości w nauce i nie tylko – 24 stycznia 2015

  • Kolejny krok ku nanofotonice. Badacze z McGill University w Montrealu opracowali nowy miniaturowy typ lasera o długości 100 μm i szerokości 5 μm. Więcej na phys.org i w artykule: M. H. T. Dastjerdi, et al. „An electrically injected rolled-up semiconductor tube laser.” czasopismo: Applied Physics Letters. DOI: 10.1063/1.4906238
  • Grafen może być bardzo wydajny w fotowoltaice. Więcej na phys.org i w artykule: Johannsen JC, Ulstrup S, Crepaldi A, Cilento F, Zacchigna M, Miwa JA, Cacho C, Chapman RT, Springate E, Fromm F, Raidel C, Seyller T, King PDC, Parmigiani F, Grioni M, Hofmann P. „Tunable Carrier Multiplication and Cooling in Graphene.” Nano Letters December 2 2014. DOI: 10.1021/nl503614v
  • Grafen być może będzie mógł być otrzymywany w potrzebnym kształcie np:

    Więcej na phys.org i w artykule „Edge reconstruction-mediated graphene fracture” czasopisma Nanoscale
  • Nanocząsteczki złota podgrzane mogą pomóc w tanim wierceniu małych porów w ceramice – np przydatnych do analizy DNA w systemach Lab on a chip. Więcej na phys.org oraz w artykule: Lennart J. de Vreede, Albert van den Berg, and Jan C. T. Eijkel, „Nanopore Fabrication by Heating Au Particles on Ceramic Substrates,” czasopisma Nano Letters, 2015, 15 (1), pp 727–731, DOI: 10.1021/nl5042676
  • Do technologii prawdziwej teleportacji jeszcze daleko,ale pewna kiepska podróbka oparta na technologii druku 3d już jest. Więcej na phys org i w tym dokumencie.
  • Nowa praca teoretyczna na temat ciemnej materii sugeruje,że droga mleczna zawierać może choć jeden sprawny wormhole ? Więcej na phys org i w artykule: „Possible existence of wormholes in the central regions of halos.” czasopisma Annals of Physics 350 (2014) 561. DOI: 10.1016/j.aop.2014.08.003 ; dostępnym również na arxiv: [tutaj].
  • Naukowcy z University of California i Berkeley udowodnili relację pomiędzy energią i czasem będącą ograniczeniem dla komputerów kwantowych,wyprowadzając ją matematycznie. Więcej na phys org i w artykule:Macroscopicity of quantum superpositions on a one-parameter unitary path in Hilbert space PhysRevA i na arxiv [tutaj]
  • To nie blog medyczny,ale akurat ta sprawa wygląda nieźle: Kojarzy ktoś grę Fallout i leki przeciwko napromieniowaniu potrafiące wyleczyć człowieka z choroby popromiennej ? W rzeczywistości tak fajnie nie jest,ale opracowano kolejne lekarstwo. Więcej na phys.org i w artykule czasopisma: Chemistry & Biology; Patil et al.: „Combined Mitigation of the Gastrointestinal and Hematopoietic Acute Radiation Syndromes by a Novel LPA2 Receptor-specific Non-lipid Agonist”

Bezpieczeństwo – na blogu Bruce’a Schneiera można znaleźć ostatnio:

  • Link do jego rozmowy ze Snowdenem.
  • Ciekawy wpis na temat bota kupującego losowo nielegalne produkty w blackmarketach (tłum.czarny rynek ?) sieci tor. Koniec końców sprawa skończyła się „aresztowaniem” bota 😉 Czy amatorzy  zakupów nielegalnych produktów (w tym narkotyków) w sieci będą częściej próbować sztuczki „na bota” i „na sztukę” ? Ciekawa sprawa, zwłaszcza, że psa Kory ostateczenie nie skazano (nie wykryto sprawcy) 😉

Polecam czytanie bloga tego Pana.

Ponadto Phys.org na temat bezpieczeństwa:

  • Forum ekonomiczne w Davos.Zachodni naukowcy na nim występujący wieszczą kres prywatności. Ale czy na pewno tak będzie,czy może to raczej marzenia tzw. „elit” ? Generalnie co do futurystów to trzeba być sceptycznym.A o swoją prywatność można nadal dbać,a paniczne podejście związana z zagrożeniem atakami hackerskimi świadczy,że raczej „kresu prywatności” tak do końca – nie będzie. Tym niemniej prywatność będzie coraz droższą do utrzymania i coraz bardziej wartościową kwestią – to nie ulega wątpliwości…
  • Hackerzy „white-hat” są potrzebni i to nie tylko najlepsze jednostki – potwierdziły to badania naukowe z Pensylwania State University. W sumie nic nowego,ale przynajmniej teraz mogą powiedzieć,że mają na to papier 🙂
  • Fujitsu opracowało technologię typowania użytkowników podatnych na cyberataki.

Inne:

Stworzono Nowy język programowania,który ma sprawić,że hardware będzie (teoretycznie – w praktyce nie za bardzo w to wierzę,to chyba marketing) wolne od wad. Więcej na phys.org, można też poszukać pracy „Digital Circuits in CλaSH – Functional Specifications and Type-Directed Synthesis” za jakiś czas w internecie – choć jej autor bronił tą pracę doktorską wczoraj, jeszcze nie można jej znaleźć i nie wiadomo,czy będzie można w ogóle.Niestety.Tak czy inaczej stronkę projektu znalazłem na githubie. Język oparty na Haskellu, w wersji GHC >= 7.8.

Nowości w nauce,technologii i bezpieczeństwie komputerowym – stan 7.1.2015

Bezpieczeństwo informatyczne:

  • Cryptome:
    • Ukazał się całkiem ciekawy artykuł „Privacy Shielding against Mass Surveillance„. Co prawda z 2014 roku, i poleca już niezbyt dostępnego Truecrypta, sieć Tor, oraz inne stosunkowo dobrze znane rozwiązania, ale chyba warto poczytać.
    • Ukazało się tam też ogłoszenie o otwartym spotkaniu NIST dotyczącym bezpieczeństwa informacji i prywatności 11 lutego (2015) w Waszyngtonie.Poruszane mają być m.in kwestie dotyczące dronów,systemu prawnego i nowości. Jak ktoś mieszka w USA i rzeczywiście zdoła tam wejść…
    • NSA planuje rozbudowę w Ft. Meade
    • Ukazało się nowe oświadczenie (prawdopodobnie) Irańskiego hackera (a może grupy hackerskiej) „Parastoo„, odpowiedzialnego m.in. na włamanie na serwery grupy Jane’s (obecnie Jane’s wchodzi w skład IHS.inc). Dlaczego włamanie akurat do Jane’s Information Group / korporacji IHS jest takie ważne ? Jane’s zajmuje się „białym wywiadem” (open source intelligence) ,zwłaszcza w wojskowości. Ponadto w repertuarze Parastoo znalazły się m.in groźby ataków z udziałem przejętych dronów przeciwko USA.Co tym razem ? „Nic takiego” –  znaleziono „tylko” niezaszyfrowane kanały komunikacji w systemach Network on a Chip które powiązane są z wykorzystywanymi np. w przypadku satelitów chipami FPGA / CPLD i algorytmami szyfrującymi. Niestety brak jest większej liczby szczegółów, sam zaś nie jestem takim ekspertem, by dociec,czy oznacza to np. możliwość podsłuchiwania amerykańskich satelitów – albo coś więcej. Jedno jest pewne. Parastoo oskarża rząd USA o to, że same standardy szyfrowania tych urządzeń nie spełniają nawet standardów NIST FIPS.  Jest to nawet całkiem prawdopodobne,zważywszy na liczne problemy z bezpieczeństwem nawet popularnych w telefonii komórkowej rozwiązań.Sprawa jest tym pikantniejsza,że USA raczej nie zacznie teraz gorączkowo modernizacji satelitów, bo nawet gdyby było w stanie wydać na to sporo kasy, sytuacja międzynarodowa jest jaka jest.

Technologia:

  • Jak informuje Giznet Makerbot zamierza wprowadzić świat druku 3d nowe-stare materiały. Syntetyczne drewno i kamień (czy może: wapień ?). Choć liczba dostępnych dla przeciętnego użytkownika drukarek 3d wciąż ogranicza się głównie do polimerów, jak widać możliwe jest wykorzystanie coraz bardziej różnych materiałów w tych urządzeniach. Przypominam,że w poprzednim roku jako „wypełnienie” (filament) w urządzeniach tych zaczęto stosować m.in. włókno węglowe.
  • Jak informuje Electronics Weekly IBM chce wykorzystać przemiany fazowe w działaniu chipów neuromorficznych.
  • Jak również informuje Giznet misja łazika Opportunity po 11 latach może się skończyć – a przynajmniej ma problemy. Dlaczego ? Padła pamięć flash. Przyczyna ? Dość prozaiczna. Pamięci NAND mają ograniczoną liczbę cykli zapisu. Warto o tym pamiętać również w kontekście dysków SSD…

Nauka:

  • Jak podaje blog MIT News obecne sieci neuronowe pod względem rozpoznawania obrazu dorównują już mózgom naczelnych (małpy i ludzie). Artykuł można ściągnąć [z tej strony].
  • Jak również podaje blog MIT News  badacze z MIT prowadzą całkiem ciekawe badania nad „uwięzieniem w materiale” fotonów, czyli cząstek będących nośnikiem światła. Bieżące wyniki tych badań można pobrać [z tej strony].
  • Bardzo ciekawe wyniki na temat przyczyn nadprzewodnictwa,a możliwe,że nawet trop prowadzący do nadprzewodnika działającego w temperaturze pokojowej odkryli badacze z Cornell University. Więcej na phys.org i w artykule: „Identifying the ‚fingerprint’ of antiferromagnetic spin fluctuations in iron pnictide superconductors.” czasopisma Nature Physics DOI: 10.1038/nphys3187.
  • Kaloryferek w ubranku (nie, nie chodzi  o siłownię i popularny sześciopak 😉 ) ? Czemu nie. Dzięki badaniom nad wprowadzeniem nanowłókien do odzieży jest to całkiem możliwe. Więcej o tych badaniach na phys.org i w artykule „Personal Thermal Management by Metallic Nanowire-Coated Textile” czasopisma Nano Letters, DOI: 10.1021/nl5036572. Aczkolwiek jeszcze trzeba będzie poczekać na komercjalizację tych badań.
  • Naukowcy z uniwersytetu Cambridge opracowali nowy materiał który poprzez duże zmiany kształtu może reagować na dość drobne zmiany w środowisku. Jest to ważne odkrycie jeśli chodzi o biosensory. Więcej na phys.org i w artykule „‚Thermal regulation of volume and porosity in lipid mesophases by coupling mobile ligands to soft membranes” czasopisma Nature Communications, DOI: OI: 10.1038/ncomms6948
  • Asfalt rozwiązaniem problemu nr 1 wg. organizacji ekologicznych (są gorsze gazy) – przyrostu w atmosferze CO2 ? Możliwe,że po części tak. Całość opisano w artykule: „Asphalt-Derived High Surface Area Activated Porous Carbons for Carbon Dioxide Capture” czasopisma „ACS Applied Materials and Interfaces”.Więcej na phys.org.
  • Czy roboty zastąpią kamerzystów ? Póki co może nie,ale poczyniono ku temu krok. Na phys.org opisano badania nad wykorzystaniem uczenia maszynowego do sterowania celem uzyskania jak najlepszych ujęć.Artykuł na ten temat jest [dostępny tutaj]
  • Nowy rodzaj pamięci pracujący w temperaturach powyżej 600 K (ponad 300oC) został omówiony na phys.org . Tym razem temperatura jako nośnik informacji zamiast elektryczności ? Koncepcja ciekawa, co do zastosowania jednak mam wątpliwości,zwłaszcza,że jak na razie badacze projektują tylko prototyp. Poza tym zastanawia mnie, jak długo tego rodzaju pamięć będzie użyteczna i jak wydajna. W każdym razie – więcej o tej niezwykłej koncepcji pamięci można poczytać w artykule „Near-field NanoThermoMechanical memory.” czasopisma Applied Physics Letters. DOI: 10.1063/1.4904828
  • Komputery już od dawna ogrywają ludzi w szachy. Aktualnym championem,jak podaje phys.org został ostatnio silnik szachowy Komodo 8.

Ważniejsze nowości – nauka i bezpieczeństwo: stan 29.11.2014

Bezpieczeństwo – na stronie Cryptome ukazały się:

  • Ciekawy artykuł o słabościach systemowych HTTPS

Nauka:

  • Faktoryzacja kwantowa jest możliwa dla liczb pięciocyfrowych. W 2012 roku była to trzycyfrowaliczba 143… Więcej na phys.org. oraz w artykule „Quantum factorization of 44929 with only 4 qubits„. (Phys.org twierdzi,że największą jest 56193,artykuł – inaczej…) Jak widać kwantowe łamanie algorytmów szyfrujących typu RSA coraz bliżej,tak,jak wcześniej wspominałem.
  • Astronomia/Fizyka: Badacze z MIT potwierdzają – naturalna „tarcza” chroni ziemię przed promieniowaniem. I wiemy jaka jest jej natura. Właściwie dużą rolę odgrywa o promieniowanie elektromagnetyczne, określone jako „plasmaspheric hiss” (plazmasferyczne syczenie ?) – fale elektromagnetyczne o bardzo niskiej częstotliwości. Więcej na stronie MIT News. Dlaczego o tym piszę ? Ponieważ odtworzenie tego w warunkach sztucznych, będzie miało kiedyś podstawowe znaczenie dla kolonizacji przestrzeni kosmicznej.
  • Badacze z MIT opracowali również sposób na tworzenie dużych biologicznych obwodów.Więcej na stronie MIT News.
  • Wygląda na to,że grafen wytrzymać może uderzenie pocisku karabinowego. Więcej w artykule: „Dynamic mechanical behavior of multilayer graphene via supersonic projectile penetration” czasopisma Science (Vol. 346 no. 6213 pp. 1092-1096. DOI: 10.1126/science.1258544). Więcej na phys.org. Nowe lepsze kamizelki kuloodporne ?
  • Niemieccy naukowcy z Saarland University in Saarbrucken są w stanie zrealizować transfer stanu kwantowego foton-atom z wiernością większą od 95%. Jest to ważny krok na drodze ku kwantowym sieciom (takim do wymiany informacji kwantowej). Więcej w artykule: „Experimental protocol for high-fidelity heralded photon-to-atom quantum state transfer.” Autorzy: Christoph Kurz, et al.,czasopismo „Nature Communications”. (DOI: 10.1038/ncomms6527),oraz na phys.org
  • Z kolei naukowcy Irlandzcy z Trinity College opracowali sposób, na „wielopoziomowe” pamięci elektroniczne, przekazujące wiele bitów naraz. Więcej w artykule „A Single Nanoscale Junction with Programmable Multilevel Memory” w czasopiśmie ACS Nano (DOI: 10.1021/nn505139m) oraz na phys.org.

Co nowego w nauce i technice – przykłady – 29.11.14

  • Nowojorska firma Graphene 3D Lab opracowała technologię druku 3d baterii na bazie polimerowo-grafenowego wypełnienia. Dokładniejszy artykuł na stronie Geekweek. Mówiąc szczerze, podejrzewam,że na samych bateriach się nie skończy, a technologia ta,choć na razie droga i niedoskonała (zwłaszcza ze względu na skalę),pomimo przedstawionych przeze mnie aktualnych wad druku 3d, jest kamieniem milowym ku drukowanym samochodom elektrycznym.News o samochodzie elektrycznym wrzucałem zresztą całkiem niedawno. Czy zatem „Technologiczna osobliwość” (ang. Singularity) jest blisko ? Może nie,ale przy obecnym rozwoju techniki możemy faktycznie mieć wrażenie,jakby była faktycznie coraz bliżej…
  • Jeśli już chodzi o osobliwość technologiczną,to ciekawe jak bardzo w jej pojawienie się będzie uwikłana firma google. Po nowych inwestycjach w robotykę i startupy prowadzące badania nad sztuczną inteligencją google wkracza w obszar medycyny.I nie chodzi tylko o spółkę Calico,ale i nowe wizje na temat już znanej w środowisku naukowym idei zwalczania raka z wykorzystaniem nanocząsteczek.Więcej na giznet.
  • Na stronie cryptome podano link do ciekawego artykułu na temat steganografii w smartfonach.Co to jest steganografia można poczytać szerzej w odpowiednim artykule wikipedii.
  • Technologia HTML5 została ostatecznie oficjalnie zatwierdzona jako standard (ot taka biurokratyczna kwestia .Więcej na phys.org
  • Na portalu phys.org przedstawiono omówienie wyników najnowszych badań na temat kryptografii kwantowej. Wygląda na to,że to więcej niż tylko teoria,i że tym razem na serio udowodniono bezpieczeństwo tej metody.