Building Large Language Models from Scratch
Language: English
Published by APRESS L.P. Mai 2026, 2026
- Softcover
- New
Seller: Rheinberg-Buch Andreas Meier eK, Bergisch Gladbach, GermanyRheinberg-Buch Andreas Meier eK
AbeBooks seller since November 17, 2008
Condition: New
US$ 76.65
Quantity: 2 available
Add to basketItem description from seller
Neuware -This book is a complete, hands-on guide to designing, training, and deploying your own Large Language Models (LLMs) from the foundations of tokenization to the advanced stages of fine-tuning and reinforcement learning. Written for developers, data scientists, and AI practitioners, it bridges core principles and state-of-the-art techniques, offering a rare, transparent look at how modern transformers truly work beneath the surface.Starting from the essentials, you ll learn how to set up your environment with Python and PyTorch, manage datasets, and implement critical fundamentals such as tensors, embeddings, and gradient descent. You ll then progress through the architectural heart of modern models, covering RMS normalization, rotary positional embeddings (RoPE), scaled dot-product attention, Grouped Query Attention (GQA), Mixture of Experts (MoE), and SwiGLU activations, each explored in depth and built step by step in code. As you advance, the book introduces custom CUDA kernel integration, teaching you how to optimize key components for speed and memory efficiency at the GPU level an essential skill for scaling real-world LLMs. You ll also gain mastery over the phases of training that define today s leading models:Pretraining - Building general linguistic and semantic understanding.Midtraining - Expanding domain-specific capabilities and adaptability.Supervised Fine-Tuning (SFT) - Aligning behavior with curated, task-driven data.Reinforcement Learning from Human Feedback (RLHF) - Refining responses through reward-based optimization for human alignment.The final chapters guide you through dataset preparation, filtering, deduplication, and training optimization, culminating in model evaluation and real-world prompting with a custom TokenGenerator for text generation and inference.By the end of this book, you ll have the knowledge and confidence to architect, train, and deploy your own transformer-based models, equipped with both the theoretical depth and practical expertise to innovate in the rapidly evolving world of AI.What You ll LearnHow to configure and optimize your development environment using PyTorchThe mechanics of tokenization, embeddings, normalization, and attention mechanisms.How to implement transformer components like RMSNorm, RoPE, GQA, MoE, and SwiGLU from scratch.How to integrate custom CUDA kernels to accelerate transformer computations.The full LLM training pipeline: pretraining, midtraining, supervised fine-tuning, and RLHF.Techniques for dataset preparation, deduplication, model debugging, and GPU memory management.How to train, evaluate, and deploy a complete GPT-like architecture for real-world tasks. 530 pp. Englisch.…
Seller Inventory # 9798868822964
- Title
- Building Large Language Models from Scratch
- Author
- Dilyan Grigorov
- Publisher
- APRESS L.P. Mai 2026
- Publication year
- 2026
- Condition
- Neu
- Binding
- Taschenbuch
- Language
- English
- ISBN 13
- 9798868822964
- Item weight
- 1,032 grams
- Dimensions
- 254x178x30 mm
This book is a complete, hands-on guide to designing, training, and deploying your own Large Language Models (LLMs)—from the foundations of tokenization to the advanced stages of fine-tuning and reinforcement learning. Written for developers, data scientists, and AI practitioners, it bridges core principles and state-of-the-art techniques, offering a rare, transparent look at how modern transformers truly work beneath the surface.
Starting from the essentials, you’ll learn how to set up your environment with Python and PyTorch, manage datasets, and implement critical fundamentals such as tensors, embeddings, and gradient descent. You’ll then progress through the architectural heart of modern models, covering RMS normalization, rotary positional embeddings (RoPE), scaled dot-product attention, Grouped Query Attention (GQA), Mixture of Experts (MoE), and SwiGLU activations, each explored in depth and built step by step in code. As you advance, the book introduces custom CUDA kernel integration, teaching you how to optimize key components for speed and memory efficiency at the GPU level—an essential skill for scaling real-world LLMs. You’ll also gain mastery over the phases of training that define today’s leading models:
- Pretraining - Building general linguistic and semantic understanding.
- Midtraining - Expanding domain-specific capabilities and adaptability.
- Supervised Fine-Tuning (SFT) - Aligning behavior with curated, task-driven data.
- Reinforcement Learning from Human Feedback (RLHF) - Refining responses through reward-based optimization for human alignment.
The final chapters guide you through dataset preparation, filtering, deduplication, and training optimization, culminating in model evaluation and real-world prompting with a custom TokenGenerator for text generation and inference.
By the end of this book, you’ll have the knowledge and confidence to architect, train, and deploy your own transformer-based models, equipped with both the theoretical depth and practical expertise to innovate in the rapidly evolving world of AI.
What You’ll Learn
- How to configure and optimize your development environment using PyTorch
- The mechanics of tokenization, embeddings, normalization, and attention mechanisms.
- How to implement transformer components like RMSNorm, RoPE, GQA, MoE, and SwiGLU from scratch.
- How to integrate custom CUDA kernels to accelerate transformer computations.
- The full LLM training pipeline: pretraining, midtraining, supervised fine-tuning, and RLHF.
- Techniques for dataset preparation, deduplication, model debugging, and GPU memory management.
- How to train, evaluate, and deploy a complete GPT-like architecture for real-world tasks.
Who this book is for:
Software developers, data scientists, machine learning engineers and AI enthusiasts looking to build their models from scratch.
"Synopsis" may belong to another edition of this title.
About the Author
Dilyan Grigorov is a software developer with a passion for Python software development, generative deep learning & machine learning, data structures, and algorithms. He is an advocate for open source and the Python language itself. He has 16 years of industry experience programming in Python and has spent 5 of those years researching and testing Generative AI solutions. His passion for them stems from his background as an SEO specialist dealing with search engine algorithms daily. He enjoys engaging with the software community, often giving talks at local meetups and larger conferences. In his spare time, he enjoys reading books, hiking in the mountains, taking long walks, playing with his son, and playing the piano.
"About the title" may belong to another edition of this title.
Rheinberg-Buch Andreas Meier eK
Bergisch Gladbach, Germany
AbeBooks seller since November 17, 2008
Shipping rates from Germany to U.S.A.
| Item | 5 to 15 business days | 2 to 4 business days |
|---|---|---|
| First item | US$ 26.66 | US$ 41.72 |
Payment methods
- Bank Wire Transfer
- Paypal
Store description
Online Buchhandel
Seller's business information
Rheinberg-Buch Andreas Meier eK
Germany
Terms of sale
Allgemeine Geschäftsbedingungen mit Kundeninformationen
Inhaltsverzeichnis
Geltungsbereich
Vertragsschluss
Widerrufsrecht
Preise und Zahlungsbedingungen
Liefer- und Versandbedingungen
Eigentumsvorbehalt
Mängelhaftung
Anwendbares Recht
Gerichtsstand
Alternative Streitbeilegung
- Geltungsbereich
1.1 Diese Allgemeinen Geschäftsbedingungen (nachfolgend "AGB") des Rheinberg-Buch Inh. Andreas Meier e.K. (nachfolgend "Verkäufer"), gelten für alle Verträge, die ein Verbraucher oder Unternehmer (nachfolgend „Kunde“) mit dem Verkäufer hinsichtlich der vom Verkäufer auf den Internet-Handelsplattformen www.zvab.com und/oder www.abebooks.de (nachfolgend „ZVAB/Abebooks") dargestellten Waren und/oder Leistungen abschließt. Hiermit wird der Einbeziehung von eigenen Bedingungen des Kunden widersprochen, es sei denn, es ist etwas anderes vereinbart.
1.2 Verbraucher im Sinne dieser AGB ist jede natürliche Person, die ein Rechtsgeschäft zu Zwecken abschließt, die überwiegend weder ihrer gewerblichen noch ihrer selbständigen beruflichen Tätigkeit zugerechnet werden können.
1.3 Unternehmer im Sinne dieser AGB ist eine natürliche oder juristische Person oder eine rechtsfähige Personengesellschaft, die bei Abschluss eines Rechtsgeschäfts in Ausübung ihrer gewerblichen oder selbständigen beruflichen Tätigkeit handelt.
- Vertragsschluss
2.1 Die bei ZVAB/Abebooks dargestellten Produktbeschreibungen des Verkäufers stellen keine verbindlichen Angebote seitens des Verkäufers dar, sondern dienen zur Abgabe eines verbindlichen Angebots durch den Kunden.
2.2 Der Kunde kann sein Angebot über das im Rahmen der Präsentation der Waren und/ oder Leistungen bei ZVAB/Abebooks dargestellte Online-Bestellformular abgeben. Dabei gibt der Kunde, nachdem er die ausgewählten Waren und/oder Leistungen in den virtuellen Warenkorb gelegt, sich in sein bestehendes Nutzerkonto bei ZVAB/Abebooks eingeloggt oder ein neues Nutzerkonto bei ZVAB/Abebooks eröffnet und den elektronischen Bestellprozess durchlaufen hat, durch Klicken des den Bestellvorgang abschließenden Buttons ein rechtlich verbindliches Vertragsangebot in Bezug auf die im Warenkorb enthaltenen Waren und/oder Leistungen ab.
2.3 Der Verkäufer kann das Angebot des Kunden innerhalb von fünf Tagen annehmen,
indem er dem Kunden eine schriftliche Auftragsbestätigung oder eine Auftragsbestätigung in Textform (Fax oder E-Mail) übermittelt, wobei insoweit der Zugang der Auftragsbestätigung beim Kunden maßgeblich ist, oder
indem er dem Kunden die bestellte Ware liefert, wobei insoweit der Zugang der Ware beim Kunden maßgeblich ist, oder
indem er den Kunden nach Abgabe von dessen Bestellung zur Zahlung auffordert.
Liegen mehrere der vorgenannten Alternativen vor, kommt der Vertrag in dem Zeitpunkt zustande, in dem eine der vorgenannten Alternativen zuerst eintritt. Nimmt der Verkäufer das Angebot des Kunden innerhalb vorgenannter Frist nicht an, so gilt dies als Ablehnung des Angebots mit der Folge, dass der Kunde nicht mehr an seine Willenserklärung gebunden ist.
2.4 Die Frist zur Annahme des Angebots beginnt am Tag nach der Absendung des Angebots durch den Kunden zu laufen und endet mit dem Ablauf des fünften Tages, welcher auf die Absendung des Angebots folgt.
2.5 Bei der Abgabe eines Angebots über das Online-Bestellformular des Verkäufers wird der Vertragstext vom Verkäufer gespeichert und dem Kunden nach Absendung seiner Bestellung nebst den vorliegenden AGB in Textform (z. B. E-Mail, Fax oder Brief) zugeschickt. Zusätzlich wird der Vertragstext bei ZVAB/Abebooks archiviert und kann vom Kunden über sein passwortgeschütztes Nutzerkonto bei ZVAB/Abebooks kostenlos abgerufen werden.
2.6 Bei einer Bestellung über das Online-Bestellformular des Verkäufers kann der Kunde vor verbindlicher Abgabe der Bestellung seine Eingaben laufend über die üblichen Tastatur- und Mausfunktionen korrigieren. Darüber hinaus werden die Eingaben vor der verbindlichen Abgabe der Bestellung noch einmal in einem Bestätigungsfenster angezeigt und können auch dort mittels der üblichen Tastatur- und Mausfunktionen korrigiert werden.
2.7 Für den Vertragsschluss steht die deutsche Sprache zur Verfügung.
2.8 Die Bestellabwicklung und Kontaktaufnahme finden in der Regel per E-Mail und automatisierter Bestellabwicklung statt. Der Kunde hat sicherzustellen, dass die von ihm zur Bestellabwicklung angegebene E-Mail-Adresse zutreffend ist, so dass unter dieser Adresse die vom Verkäufer versandten E-Mails empfangen werden können. Insbesondere hat der Kunde bei dem Einsatz von SPAM-Filtern sicherzustellen, dass alle vom Verkäufer oder von diesem mit der Bestellabwicklung beauftragten Dritten versandten E-Mails zugestellt werden können.
- Widerrufsrecht
3.1 Verbrauchern steht grundsätzlich ein Widerrufsrecht zu.
3.2 Nähere Informationen zum Widerrufsrecht ergeben sich aus der Widerrufsbelehrung des Verkäufers.
- Preise und Zahlungsbedingungen
4.1 Die vom Verkäufer angegebenen Preise sind Gesamtpreise und enthalten die gesetzliche Umsatzsteuer. Gegebenenfalls zusätzlich anfallende Liefer- und Versandkosten werden in der jeweiligen Produktbeschreibung gesondert angegeben.
4.2 Bei Lieferungen in Länder außerhalb der Europäischen Union können im Einzelfall weitere Kosten anfallen, die der Verkäufer nicht zu vertreten hat und die vom Kunden zu tragen sind. Hierzu zählen beispielsweise Kosten für die Geldübermittlung durch Kreditinstitute (z.B. Überweisungsgebühren, Wechselkursgebühren) oder einfuhrrechtliche Abgaben bzw. Steuern (z.B. Zölle). Solche Kosten können in Bezug auf die Geldübermittlung auch dann anfallen, wenn die Lieferung nicht in ein Land außerhalb der Europäischen Union erfolgt, der Kunde die Zahlung aber von einem Land außerhalb der Europäischen Union aus vornimmt.
4.3 Dem Kunden stehen verschiedene Zahlungsmöglichkeiten zur Verfügung, die im ZVAB/Abebooks-Shop des Verkäufers angegeben werden.
4.4 Ist Vorauskasse per Banküberweisung vereinbart, ist die Zahlung sofort nach Vertragsabschluss fällig, sofern die Parteien nichts anderes vereinbart haben.
4.5 Bei Auswahl der Zahlungsart "PayPal" erfolgt die Zahlungsabwicklung über den Zahlungsdienstleister PayPal (Europe) S.à r.l. et Cie, S.C.A., 22-24 Boulevard Royal, L-2449 Luxembourg unter Geltung der PayPal-Nutzungsbedingungen, einsehbar unter https://www.paypal.com/de/webapps/mpp/ua/useragreement-full oder - falls der Kunde nicht über ein PayPal-Konto verfügt – unter Geltung der Bedingungen für Zahlungen ohne PayPal-Konto, einsehbar unter https://www.paypal.com/de/webapps/mpp/ua/privacywax-full.
- Liefer- und Versandbedingungen
5.1 Die Lieferung von Waren erfolgt auf dem Versandweg an die vom Kunden angegebene Lieferanschrift, sofern nichts anderes vereinbart ist. Bei der Abwicklung der Transaktion ist die in der Bestellabwicklung des Verkäufers angegebene Lieferanschrift maßgeblich.
5.2 Scheitert die Zustellung der Ware aus Gründen, die der Kunde zu vertreten hat, trägt der Kunde die dem Verkäufer hierdurch entstehenden angemessenen Kosten. Dies gilt im Hinblick auf die Kosten für die Hinsendung nicht, wenn der Kunde sein Widerrufsrecht wirksam ausübt. Für die Rücksendekosten gilt bei wirksamer Ausübung des Widerrufsrechts durch den Kunden die in der Widerrufsbelehrung des Verkäufers hierzu getroffene Regelung.
5.3 Der Verkäufer behält sich das Recht vor, im Falle nicht richtiger oder nicht ordnungsgemäßer Selbstbelieferung vom Vertrag zurückzutreten. Dies gilt nur für den Fall, dass die Nichtlieferung nicht vom Verkäufer zu vertreten ist und dieser mit der gebotenen Sorgfalt ein konkretes Deckungsgeschäft mit dem Zulieferer abgeschlossen hat. Der Verkäufer wird alle zumutbaren Anstrengungen unternehmen, um die Ware zu beschaffen. Im Falle der Nichtverfügbarkeit oder der nur teilweisen Verfügbarkeit der Ware wird der Kunde unverzüglich informiert und die Gegenleistung unverzüglich erstattet.
5.4 Selbstabholung ist aus logistischen Gründen nicht möglich.
-
Eigentumsvorbehalt
Tritt der Verkäufer in Vorleistung, behält er sich bis zur vollständigen Bezahlung des geschuldeten Kaufpreises das Eigentum an der gelieferten Ware vor. -
Mängelhaftung
Soweit sich aus den nachfolgenden Regelungen nichts anderes ergibt, gelten die Vorschriften der gesetzlichen Mängelhaftung. Hiervon abweichend gilt bei Verträgen zur Lieferung von Waren:
7.1 Handelt der Kunde als Unternehmer,
hat der Verkäufer die Wahl der Art der Nacherfüllung;
beträgt bei neuen Waren die Verjährungsfrist für Mängelrechte ein Jahr ab Ablieferung der Ware;
sind bei gebrauchten Waren die Mängelrechte ausgeschlossen;
beginnt die Verjährung nicht erneut, wenn im Rahmen der Mängelhaftung eine Ersatzlieferung erfolgt.
7.2 Die vorstehend geregelten Haftungsbeschränkungen und Fristverkürzungen gelten nicht
für Schadensersatz- und Aufwendungsersatzansprüche des Kunden,
für den Fall, dass der Verkäufer den Mangel arglistig verschwiegen hat,
für Waren, die entsprechend ihrer üblichen Verwendungsweise für ein Bauwerk verwendet worden sind und dessen Mangelhaftigkeit verursacht haben,
für eine ggf. bestehende Verpflichtung des Verkäufers zur Bereitstellung von Aktualisierungen für digitale Produkte, bei Verträgen zur Lieferung von Waren mit digitalen Elementen.
7.3 Darüber hinaus gilt für Unternehmer, dass die gesetzlichen Verjährungsfristen für einen ggf. bestehenden gesetzlichen Rückgriffsanspruch unberührt bleiben.
7.4 Handelt der Kunde als Kaufmann i.S.d. § 1 HGB, trifft ihn die kaufmännische Untersuchungs- und Rügepflicht gemäß § 377 HGB. Unterlässt der Kunde die dort geregelten Anzeigepflichten, gilt die Ware als genehmigt.
7.5 Handelt der Kunde als Verbraucher, so wird er gebeten, angelieferte Waren mit offensichtlichen Transportschäden bei dem Zusteller zu reklamieren und den Verkäufer hiervon in Kenntnis zu setzen. Kommt der Kunde dem nicht nach, hat dies keinerlei Auswirkungen auf seine gesetzlichen oder vertraglichen Mängelansprüche.
-
Anwendbares Recht
Für sämtliche Rechtsbeziehungen der Parteien gilt das Recht der Bundesrepublik Deutschland unter Ausschluss der Gesetze über den internationalen Kauf beweglicher Waren. Bei Verbrauchern gilt diese Rechtswahl nur insoweit, als nicht der gewährte Schutz durch zwingende Bestimmungen des Rechts des Staates, in dem der Verbraucher seinen gewöhnlichen Aufenthalt hat, entzogen wird. -
Gerichtsstand
Handelt der Kunde als Kaufmann, juristische Person des öffentlichen Rechts oder öffentlich-rechtliches Sondervermögen mit Sitz im Hoheitsgebiet der Bundesrepublik Deutschland, ist ausschließlicher Gerichtsstand für alle Streitigkeiten aus diesem Vertrag der Geschäftssitz des Verkäufers. Hat der Kunde seinen Sitz außerhalb des Hoheitsgebiets der Bundesrepublik Deutschland, so ist der Geschäftssitz des Verkäufers ausschließlicher Gerichtsstand für alle Streitigkeiten aus diesem Vertrag, wenn der Vertrag oder Ansprüche aus dem Vertrag der beruflichen oder gewerblichen Tätigkeit des Kunden zugerechnet werden können. Der Verkäufer ist in den vorstehenden Fällen jedoch in jedem Fall berechtigt, das Gericht am Sitz des Kunden anzurufen. -
Alternative Streitbeilegung
Der Verkäufer ist zur Teilnahme an einem Streitbeilegungsverfahren vor einer Verbraucherschlichtungsstelle weder verpflichtet noch bereit.
Shipping terms
Der Versand ins Ausland findet IMMER mit DHL statt. Auch nach Österreich verschicken wir nur mit DHL! Daher Standardversand == Luftpost!