DeepSeek-R1

Invoering

We presenteren onze eerste generatie redeneermodellen, DeepSeek-R1-Zero en DeepSeek-R1 , die zijn ontworpen om de grenzen van redeneervermogen te verleggen. DeepSeek-R1-Zero is getraind met behulp van grootschalige reinforcement learning (RL) zonder voorafgaande supervised fine-tuning (SFT), wat opmerkelijke emergente redeneergedragingen laat zien. Door RL ontwikkelde DeepSeek-R1-Zero op natuurlijke wijze krachtige redeneervermogens, waaronder multi-step probleemoplossing en logische gevolgtrekking.

DeepSeek-R1-Zero kent echter ook uitdagingen, zoals repetitieve output, verminderde leesbaarheid en incidentele taalvermenging . Om deze beperkingen aan te pakken en de redeneerprestaties verder te verbeteren, hebben we DeepSeek-R1 ontwikkeld , waarbij cold-startgegevens vóór de RL-fase zijn opgenomen. Deze verbetering resulteert in een stabieler en coherenter model dat prestaties levert die vergelijkbaar zijn met OpenAI-o1 in wiskunde-, coderings- en redeneertaken.

Ter ondersteuning van de onderzoeksgemeenschap hebben we DeepSeek-R1-Zero, DeepSeek-R1 en zes gedistilleerde dichte modellen afgeleid van DeepSeek-R1 op basis van LLaMA- en Qwen-architecturen open source gemaakt . Hiervan zet DeepSeek-R1-Distill-Qwen-32B een nieuwe standaard voor dichte modellen, presteert beter dan OpenAI-o1-mini in meerdere benchmarks en behaalt state-of-the-art resultaten.

Model Samenvatting

Na de training: grootschalige versterkingsleer op het basismodel

• In een baanbrekende aanpak passen we reinforcement learning (RL) direct toe op het basismodel zonder supervised fine-tuning (SFT) als voorlopige stap te gebruiken. Deze strategie stelt het model in staat om chain-of-thought (CoT) processen te verkennen voor het oplossen van complexe problemen, wat resulteert in de creatie van DeepSeek-R1-Zero . Het model demonstreert geavanceerde mogelijkheden zoals zelfverificatie, reflectie en het genereren van uitgebreide CoT’s , wat een belangrijke mijlpaal markeert voor de onderzoeksgemeenschap.
• Met name DeepSeek-R1-Zero is het eerste open onderzoek dat valideert dat LLM-redeneringsvermogens puur via RL kunnen worden gestimuleerd , zonder de noodzaak van SFT. Deze doorbraak zet een nieuwe richting uit voor toekomstige ontwikkelingen in redeneringsmodellen.
• Verder introduceren we de DeepSeek-R1-ontwikkelingspijplijn , die bestaat uit twee RL-fasen gericht op het ontdekken van verbeterde redeneringspatronen en het afstemmen daarvan op menselijke voorkeuren , evenals twee SFT-fasen die de kiem vormen voor zowel redenerings- als niet-redeneringsmogelijkheden. Deze pijplijn legt de basis voor het bouwen van geavanceerdere modellen die zowel de industrie als de onderzoeksgemeenschap ten goede zullen komen.

Destillatie: krachtige kleine modellen

• We laten zien dat de redeneringspatronen van grote modellen kunnen worden gedistilleerd tot kleinere modellen , waardoor betere prestaties worden behaald dan kleinere modellen die alleen via RL zijn getraind. Door gebruik te maken van de redeneringsgegevens die door DeepSeek-R1 zijn gegenereerd, hebben we meerdere dichte modellen , die veel worden gebruikt in onderzoek, verfijnd om hun redeneringsvermogen aanzienlijk te verbeteren.
• Onze evaluatieresultaten laten zien dat deze gedistilleerde kleinere dichte modellen uitblinken in verschillende benchmarks. Om de community te ondersteunen, hebben we gedistilleerde checkpoints open source gemaakt voor modellen met 1,5B, 7B, 8B, 14B, 32B en 70B parameters, gebaseerd op de Qwen2.5 en Llama3 series. Dit biedt onderzoekers en ontwikkelaars hoogwaardige modellen die efficiëntie en sterke prestaties combineren, wat de weg vrijmaakt voor toekomstige innovaties in redeneer- en distillatietechnieken.

Modeldownloads

DeepSeek-R1-modellen

DeepSeek-R1-Zero en DeepSeek-R1 zijn gebouwd op de solide basis van DeepSeek-V3-Base, met geavanceerde aanpassingen gericht op redenering en keten-van-gedachten (CoT)-capaciteiten. Voor een gedetailleerd overzicht van de modelarchitectuur, raadpleeg de DeepSeek-V3 repository.

DeepSeek-R1-Distill-modellen

DeepSeek-R1-Distill-modellen zijn verfijnd op basis van open-source basismodellen, met behulp van voorbeelddata gegenereerd door DeepSeek-R1. Tijdens het fine-tuningproces hebben we de configuraties en tokenizers licht aangepast om optimale prestaties te garanderen. We raden aan om onze specifieke instellingen te gebruiken om deze modellen correct uit te voeren.

Evaluatieresultaten

DeepSeek-R1-evaluatie

Voor alle DeepSeek-modellen is de maximale generatielengte geconfigureerd op 32.768 tokens. Voor benchmarks met bemonstering hanteren we een temperatuur van 0,6 en een top-p-waarde van 0,95 . Om een ​​robuuste evaluatie te garanderen, genereren we 64 antwoorden per query om de pass@1 -metriek nauwkeurig te schatten.

Chatwebsite en API-platform

Ervaar DeepSeek-R1 rechtstreeks op het officiële chatplatform op chat.deepseek.com . Schakel de ‘DeepThink’- modus in voor geavanceerd redeneren en verbeterde reacties.

Voor ontwikkelaars biedt het DeepSeek Platform een ​​OpenAI-compatibele API voor naadloze integratie in uw applicaties. Ga naar platform.deepseek.com om te beginnen.

Contact

Voor vragen of ondersteuning kunt u gerust een probleem melden of direct contact met ons opnemen via [email protected]. Ons team staat klaar om u te helpen bij DeepSeekNederlands.nl. – Bekijk hier de tutorial over het uitvoeren van het DeepSeek-R1-model !